WO2019225808A1 - 복수 개의 영상을 처리하는 방법 및 전자 장치 - Google Patents

복수 개의 영상을 처리하는 방법 및 전자 장치 Download PDF

Info

Publication number
WO2019225808A1
WO2019225808A1 PCT/KR2018/009572 KR2018009572W WO2019225808A1 WO 2019225808 A1 WO2019225808 A1 WO 2019225808A1 KR 2018009572 W KR2018009572 W KR 2018009572W WO 2019225808 A1 WO2019225808 A1 WO 2019225808A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
image
protrusion
pixel
processor
Prior art date
Application number
PCT/KR2018/009572
Other languages
English (en)
French (fr)
Inventor
히링크유리
키스제나디
김선경
부가이오브안드리
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2019225808A1 publication Critical patent/WO2019225808A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present disclosure relates to a method and an electronic device for processing a plurality of images.
  • the present invention relates to a method and an electronic device for performing image stabilization or image stitching on a plurality of images.
  • a method for correcting jittering of an image there are a hardware method using a gyro sensor, a method using a motion change between image frames, and the like.
  • image stabilization may be performed on a part or the entire area of the image without considering whether the viewer is a foreground area of the image to which the viewer's attention is focused. Therefore, even if image stabilization is performed on the image, if there is a shake or distorted portion in the foreground area of the image, there is a problem that the quality of the image perceived by the viewer watching the image is deteriorated.
  • An embodiment is to provide an image processing method and an electronic device for performing image stabilization or image stitching on a plurality of images so that the quality of an image felt by a viewer is improved.
  • image stabilization or image stitching may be performed to minimize distortion and shaking of an object included in the foreground area of the image.
  • image stabilization or image stitching may be performed based on a center point of an object included in a foreground area of an image
  • the amount of computation is lower than that of stabilizing an image or performing image stitching based on a plurality of feature points.
  • the image can be processed.
  • FIG. 1 is a diagram illustrating a system for processing a plurality of images, according to an exemplary embodiment.
  • FIGS. 2 and 3 are block diagrams illustrating an internal configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of processing a plurality of images, according to an exemplary embodiment.
  • FIG. 5 is an exemplary diagram illustrating a method of identifying an object according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating an example of stabilizing a plurality of images according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of rearranging a plurality of images based on motion prediction, according to an exemplary embodiment.
  • FIGS. 8 and 9 are diagrams illustrating an example of a stabilized image sequence according to an embodiment.
  • FIG. 10 is a diagram illustrating an example of a stabilized time-lapse image according to an embodiment.
  • FIG. 11 is a flowchart illustrating a method of performing image stitching according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating an example of a panoramic image generated by combining a plurality of images, according to an exemplary embodiment.
  • FIG. 13 is a diagram illustrating an example of a panoramic image generated by combining a plurality of images, according to an exemplary embodiment.
  • FIG. 14 is a diagram illustrating an example of a panoramic video generated by combining a plurality of images, according to an exemplary embodiment.
  • the first aspect of the present disclosure the plurality of images, the step of obtaining a protrusion value indicating the degree of protrusion for each pixel; Identifying an object commonly included in the plurality of images based on the protrusion value for each pixel; Performing image stabilization to correct for shaking of the identified object when the plurality of images are displayed continuously; And displaying a plurality of images on which the image stabilization is performed, and providing a method of processing a plurality of images consecutive in time in the electronic device.
  • the step of obtaining a protrusion value indicating the degree of protrusion for each pixel Identifying an object commonly included in the plurality of images based on the protrusion values for the pixels; Performing image stitching by combining the plurality of images such that distortion on the identified object is minimized; And displaying a panoramic image in which the plurality of images are combined according to a result of the image stitching being performed.
  • a third aspect of the present disclosure may provide a computer program product including a recording medium having stored thereon a program for performing the method of at least one of the first and second aspects.
  • FIG. 1 is a diagram illustrating a system for processing a plurality of images, according to an exemplary embodiment.
  • a process of processing an image input by a system 100 for processing a plurality of images and displaying a processed image may be performed.
  • the image processing step may be performed by the image capturing unit 111, the external memory 112, the processor 113, and the internal memory 114 of the system 100.
  • the image display step may be processed by the display 121, the external memory 122, and the virtual reality headset 123 of the system 100.
  • the image capturing unit 111 may acquire a plurality of images by capturing an image through at least one camera.
  • the plurality of images may include a sequence of images continuously temporally.
  • the plurality of images may include a plurality of images that may be synthesized as a panorama image.
  • the plurality of images may be images captured at positions adjacent to each other, and at least two images may be images including the same object.
  • the external memory 112 may be a memory device that stores a plurality of images that may be processed according to an exemplary embodiment.
  • the plurality of images may be images captured by the image capturing unit 111.
  • the external memory 112 may provide images stored in the external memory 112 to the processor 113 so that a plurality of images may be processed according to an exemplary embodiment.
  • the processor 113 may process a plurality of images acquired by the image capturing unit 111 or a plurality of images stored in the external memory 112 according to an embodiment. According to an embodiment of the present disclosure, the processor 113 may identify an object commonly included in a plurality of images. For example, the processor 113 may identify an object commonly included in the plurality of images based on the protrusion value of each pixel of the image. The protruding value is a value indicating the extent to which the pixel area protrudes. When the plurality of images are continuously displayed, the processor 113 may stabilize the plurality of images to minimize shaking of the identified object.
  • the processor 113 may identify a salient area of the image as an object. Since the subject to be photographed is generally located closer to the camera than the background part, the subject may be identified as a protruding object according to an exemplary embodiment. Therefore, according to an exemplary embodiment, stabilization of an image may be performed based on a subject to which the viewer's attention is focused.
  • the processor 113 may identify an object commonly included in each image, and combine the plurality of images to minimize distortion of the identified object.
  • the processor 113 preferably processes the distortion so as to minimize distortion of the subject area where the viewer's attention is focused rather than the background area of the image. According to an embodiment, since image stitching may be performed based on a subject included in the foreground area, distortion of the subject area may be minimized prior to the background area.
  • the internal memory 114 may store intermediate data generated when a plurality of images are processed by the processor 113.
  • the internal memory 114 may store information about the degree of protrusion of each region of the image, identification information about the object, and the like.
  • the internal memory 114 may store various types of intermediate data generated in the process of processing an image according to an exemplary embodiment.
  • the display 121 may display a plurality of images processed by the processor 113. For example, the display 121 may display the processed image sequence to minimize shaking and distortion of the object. In addition, the display 121 may display the panorama image generated to minimize distortion of the object.
  • the external memory 122 may store a plurality of images processed by the processor 113.
  • the external memory 122 may store the processed image sequence and the panoramic image according to an embodiment.
  • the plurality of images stored in the external memory 122 may be later displayed on the display 121 according to a user input or transmitted to another external device.
  • the virtual reality headset 123 displays an image having a wider angle of view than a general 2D (2 dimentional) image, for example, an angle of view of 120 degrees, 180 degrees, or 360 degrees, so that the user can view the virtual space as if in the real world. Recognizable content can be provided.
  • the wide angle of view image displayed by the virtual reality headset 123 may be a panoramic image generated from a plurality of images through image stitching.
  • the virtual reality headset 123 may continuously display a plurality of panoramic images continuously in time, thereby providing an environment in which the user may recognize the virtual reality like the real world.
  • the panorama image displayed by the virtual reality headset 123 may be generated by performing image stitching to minimize distortion of an object.
  • a plurality of panorama images that are temporally continuous may be generated by performing image stabilization so that shaking of an object of the image is minimized.
  • Image stabilization or image stitching may be used for stabilizing an image sequence, action shot making, GIF file generation, time lapse photography, panoramic image, panoramic sequential image, and the like.
  • the panoramic sequential image may be an image sequence including panoramic images that are consecutive in time.
  • image stabilization or image stitching may be used in a smart guard system for detecting the movement of a specific object.
  • the movement of the object may be detected at a low error rate.
  • image stabilization or image stitching may be applied and applied to various techniques for generating an image.
  • FIGS. 2 and 3 are block diagrams illustrating an internal configuration of the electronic apparatus 1000 according to an exemplary embodiment.
  • the electronic device 1000 may include a memory 1700, a processor 1300, and a display 1210.
  • the processor 1300 and the display 1210 illustrated in FIG. 2 may correspond to the processor 113 and the display 121 illustrated in FIG. 1.
  • the electronic device 1000 may be implemented by more components than those illustrated in FIG. 2, or the electronic device 1000 may be implemented by fewer components than those illustrated in FIG. 2.
  • the electronic apparatus 1000 may include a user input unit 1100 and a communication unit 1500 in addition to the memory 1700, the display unit 1210, and the processor 1300.
  • the output unit 1200 may further include a sensing unit 1400 and an A / V input unit 1600.
  • the user input unit 1100 means a means for a user to input data for controlling the electronic apparatus 1000.
  • the user input unit 1100 includes a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive layer type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input unit 1100 may process a plurality of images or receive a user input for displaying the processed plurality of images.
  • the output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210, an audio output unit 1220, and a vibration motor 1230. have.
  • the display unit 1210 displays and outputs information processed by the electronic apparatus 1000.
  • the display 1210 may display a plurality of images in which image stabilization or image stitching is performed, according to an exemplary embodiment.
  • the display unit 1210 may be used as an input device in addition to the output device.
  • the display unit 1210 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. 3D display, an electrophoretic display.
  • the electronic apparatus 1000 may include two or more display units 1210 according to the implementation form of the electronic apparatus 1000.
  • the sound output unit 1220 outputs audio data received from the communication unit 1500 or stored in the memory 1700.
  • the vibration motor 1230 may output a vibration signal. In addition, the vibration motor 1230 may output a vibration signal when a touch is input to the touch screen.
  • the processor 1300 typically controls the overall operation of the electronic apparatus 1000.
  • the processor 1300 may execute the programs stored in the memory 1700 to thereby execute the user input unit 1100, the output unit 1200, the sensing unit 1400, the communication unit 1500, and the A / V input unit 1600. ) Can be controlled overall.
  • the processor 1300 may identify an object protruding from the plurality of images and perform image stabilization to correct shaking of the identified object.
  • the processor 1300 may identify an object protruding from the plurality of images, and may generate a panoramic image by performing image stitching to minimize distortion of the identified object.
  • the processor 1300 may perform image stabilization or image stitching by determining a center point of the protruding object identified in the plurality of images and aligning the plurality of images so that the center points overlap each other.
  • the sensing unit 1400 may detect a state of the electronic device 1000 or a state around the electronic device 1000 and transmit the detected information to the processor 1300.
  • the sensing unit 1400 may include a geomagnetic sensor 1410, an acceleration sensor 1420, a temperature / humidity sensor 1430, an infrared sensor 1440, a gyroscope sensor 1450, and a position sensor. (Eg, GPS) 1460, barometric pressure sensor 1470, proximity sensor 1480, and RGB sensor (illuminance sensor) 1490, but are not limited thereto.
  • the communicator 1500 may include one or more components that allow the electronic apparatus 1000 to communicate with another electronic device 2000 or an external device (not shown).
  • the communicator 1500 may include a short range communicator 1510, a mobile communicator 1520, and a broadcast receiver 1530.
  • the short-range wireless communication unit 1510 includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ray ( IrDA (Infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit and the like, but may not be limited thereto.
  • the mobile communication unit 1520 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the broadcast receiving unit 1530 receives a broadcast signal and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel. According to an embodiment of the present disclosure, the electronic device 1000 may not include the broadcast receiving unit 1530.
  • the communication unit 1500 may transmit / receive data with an external device (not shown).
  • the communicator 1500 may transmit an image sequence stabilized by the processor 1300 or a panoramic image generated as a result of image stitching to an external device.
  • the A / V input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 and a microphone 1620.
  • the camera 1610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured by the image sensor may be processed by the processor 1300 or a separate image processor (not shown). According to an embodiment, image stabilization or image stitching may be performed on the video signal generated by the A / V input unit 1600.
  • the microphone 1620 receives an external sound signal and processes the external sound signal into electrical voice data.
  • the microphone 1620 may receive an acoustic signal from an external device or speaker.
  • the memory 1700 may store a program for processing and controlling the processor 1300, and may store data input to or output from the electronic device 1000.
  • the memory 1700 may store an image sequence in which image stabilization is performed. Also, the memory 1700 may store a panorama image generated as a result of image stitching.
  • the memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (RAM, Random Access Memory) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic Memory Magnetic Disk It may include at least one type of storage medium of the optical disk.
  • Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions.
  • the programs stored in the memory 1700 may be classified into a UI module 1710, a touch screen module 1720, a notification module 1730, and the like. .
  • the UI module 1710 may provide a specialized UI, GUI, and the like that interoperate with the electronic device 1000 for each application.
  • the touch screen module 1720 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor 1300.
  • the touch screen module 1720 according to some embodiments may recognize and analyze a touch code.
  • the touch screen module 1720 may be configured as separate hardware including a controller.
  • Various sensors may be provided inside or near the touch screen to detect a touch or proximity touch of the touch screen.
  • An example of a sensor for sensing a touch of a touch screen is a tactile sensor.
  • the tactile sensor refers to a sensor that detects contact of a specific object to a degree that the human feels or more.
  • the tactile sensor may sense various information such as the roughness of the contact surface, the rigidity of the contact object, the temperature of the contact point, and the like.
  • the user's touch gesture may include tap, touch and hold, double tap, drag, pan, flick, drag and drop, and swipe.
  • the notification module 1730 may generate a signal for notifying the occurrence of an event of the electronic device 1000.
  • FIG. 4 is a flowchart illustrating a method of processing a plurality of images, according to an exemplary embodiment.
  • the plurality of images processed by one embodiment may be an image sequence that can be displayed continuously in time.
  • the video sequence may be configured in a format such as a video file or a graphics interchange format (GIF) file.
  • GIF graphics interchange format
  • the electronic apparatus 1000 that processes a plurality of images may obtain a protrusion value indicating a degree of protrusion of each pixel in the plurality of images. For example, as the protrusion value increases, the pixel area may belong to the foreground area.
  • the protrusion value for each pixel may be determined by various methods based on various information about the image such as brightness, edge, symmetry, color, sharpness, focus information of the image.
  • the protrusion value may have a value between 0 and 1.
  • the corresponding pixel area may be a foreground area of high visual importance.
  • the corresponding pixel area may be a background area of low visual importance.
  • the electronic apparatus 1000 may identify a foreground area having a high visual importance as an object based on the protrusion value, and perform image stabilization or image stitching based on the identified object. have. As the distortion and the shaking of the foreground area in which the viewer's attention is focused are minimized, the quality of the image perceived by the viewer may be improved.
  • the electronic apparatus 1000 may identify an object based on the protrusion value of each pixel obtained in operation 410.
  • the identified object may include a foreground area having high visual importance.
  • the electronic apparatus 1000 may determine a reference value for identifying the object based on the protrusion value, and identify the object using the reference value.
  • the electronic apparatus 1000 may identify an area where the protrusion value has a value greater than or equal to the reference value as the area where the object is displayed.
  • the electronic apparatus 1000 may generate a binary mask having a value of 0 or 1 in a region corresponding to an image according to a reference value. The image area divided by the binary mask may be identified as an object.
  • the reference value of the protrusion value may be determined based on various information such as the protrusion value of each pixel, the edge area, and the shape of the object.
  • the electronic apparatus 1000 may determine a reference value for dividing the image area into two areas, for example, an object area and a remaining area (eg, a background area) according to the protrusion value.
  • the image stabilization according to an embodiment is performed with a lower computation amount than when performing image stabilization based on a plurality of feature points. Can be.
  • the electronic apparatus 1000 may perform image stabilization to correct shaking of the identified object. For example, the electronic apparatus 1000 may stabilize the plurality of images by correcting a position where the plurality of images are displayed on the display so that the shaking of the object is minimized. According to an embodiment of the present disclosure, even if the shake correction on the background region of the image is insufficient, the image may be modified to minimize the shake and the distortion of the object having high visual importance.
  • the electronic apparatus 1000 may display a plurality of images in which stabilization is performed in operation 430. For example, a plurality of images on which stabilization is performed may be continuously displayed.
  • FIG. 5 is an exemplary diagram illustrating a method of identifying an object according to an exemplary embodiment.
  • the electronic apparatus 1000 may generate a protrusion map 520 indicating a protrusion value for each pixel by calculating a protrusion value with respect to the original image 510.
  • the protrusion value may be a value between 0 and 1, and the closer the protrusion value is to 1, the corresponding pixel may be a pixel included in a foreground area having high visual importance.
  • the electronic apparatus 1000 may obtain a reference value for the protrusion value in order to identify the object in the foreground area.
  • the reference value for the protrusion value may be determined as a preset value or as a value that can distinguish the object from the background area based on the protrusion value of each pixel.
  • the reference value may be determined according to various methods.
  • the electronic apparatus 1000 may generate a binary mask 530 for identifying an object in an image based on a reference value determined according to various methods.
  • each pixel may have a value of 1 when the protrusion value for each pixel is larger than the reference value and 0 when the pixel is smaller than the reference value.
  • a pixel having a value of 1 may be displayed in white and a pixel having a value of 0 may be displayed in black.
  • the electronic apparatus 1000 may identify the divided white area as an object area by the binary mask 530.
  • the electronic apparatus 1000 may generate a first figure 541 including an object identified by the binary mask 530.
  • the first figure 541 may be generated to include the minimum area including the object.
  • the first figure 541 including the object area may be generated in a rectangular shape, but is not limited thereto and may be generated in various shapes.
  • the above-described first figure 541 may be used to rearrange images through motion prediction in the description related to FIG. 6 to be described later.
  • the electronic apparatus 1000 may determine a center point 542 for the object.
  • the electronic apparatus 1000 may perform image stabilization by aligning a plurality of images using the center point 542.
  • the center point 542 of the object may be determined according to a formula for finding the center of gravity based on the protrusion value as shown in Equation 1 below.
  • saliency (x) may represent a protrusion value of the pixel x
  • Foreground may mean an object area identified according to the binary mask 530.
  • x may represent a coordinate value of the pixel x.
  • the center point 542 since a center point may be determined according to a formula for obtaining an existing center of gravity, the center point 542 may be determined in an area adjacent to a large protrusion value.
  • the center point 542 of the object is not limited to the above-described example method, and may be determined according to various methods.
  • the method of identifying an object may be performed according to the following code.
  • the code presented below is exemplary only, and is not limited thereto.
  • ImagePtr scaledImg image-> createResizedImage (int (image-> width () * scaleAspect),
  • mvg matrix ⁇ uint> imageMatrix (scaledImg-> height (), scaledImg-> width (), (uint *) (scaledImg-> data ()));
  • Threshold otsuRes mvg :: getOtsuSmoothResult (mSaliecyBuffer, matrixSize);
  • threshold mvg :: min (otsuRes.threshold + kSigmaMultiplier * otsuRes.sigma, 0.9f);
  • findSaliencyCenter (saliencyMap, threshold, mSalientRectInfo.center);
  • mSalientRectInfo.center.x mvg :: round ⁇ short> (mSalientRectInfo.center.x / scaleAspect);
  • mSalientRectInfo.center.y mvg :: round ⁇ short> (mSalientRectInfo.center.y / scaleAspect);
  • findSaliencyRect (saliencyMap, threshold, mSalientRectInfo.rect);
  • mSalientRectInfo.rect mSalientRectInfo.rect * (1.f / scaleAspect);
  • FIG. 6 is a diagram illustrating an example of stabilizing a plurality of images according to an exemplary embodiment.
  • 6, 610, 620, and 630 are a plurality of images each successively temporally.
  • the images of 610, 620, and 630 may be images adjacent to each other in time.
  • 611, 621, and 631 represent the figure containing the object identified in each image.
  • the figure may be generated to include an object but include a minimum area.
  • 612, 622, and 632 represent center points with respect to the object area identified in each image. The center point shown in FIG. 6 may be determined according to Equation 1 described above.
  • the plurality of images 610, 620, and 630 may be aligned such that the center points 612, 622, and 632 of each image are fixed at the same position 642. .
  • an image displayed in the region 641 where the plurality of images intersect with each other may be finally obtained.
  • the plurality of images are arranged as shown in FIG. 640, there is a case in which there is no image data to be displayed outside the intersection area 641. have.
  • FIG. 7 is a diagram illustrating an example of rearranging a plurality of images based on motion prediction, according to an exemplary embodiment.
  • figures 712 and 722 including the identified objects may be determined, and center points 713 and 723 may be determined.
  • the two images 711 and 721 may be aligned such that the center points 713 and 723 of each image are fixed at the same position 731.
  • a second figure 732 including an area where the first figures 712 and 722 including the object region of each image cross each other may be generated. Also, in each image, the second figure 732 and the second figure 714 and 724 for each image may correspond to each other.
  • the motion prediction T may be performed in the image areas 715 and 725 included in the second figures 714 and 724 for each image, and based on the motion prediction result T, The two images can be rearranged. For example, according to the motion prediction T, as the position of the object included in each image is determined again, the position of the center point of the object may also be adjusted. According to the position of the object center point adjusted according to the motion prediction T, each image may be rearranged.
  • the motion prediction T may be performed on an image region included in the second figure region in the plurality of images included in the image sequence. Therefore, according to an embodiment, the images included in the image sequence may be rearranged according to the motion prediction performed in the second figure region.
  • FIG. 8 is a diagram illustrating an example of a stabilized image sequence according to an embodiment.
  • stabilized image sequences 811, 821, and 831 may be generated.
  • the images of the original image sequence 810, 820, and 830 may be consecutive images in time.
  • the original images 810, 820, and 830 may be aligned to correct the shaking of the object corresponding to the foreground area.
  • the stabilized image sequences 811, 821, and 831 are converted into original images 810, 820, and 830. It may be displayed in a smaller size than).
  • FIG. 9 is a diagram illustrating an example of a stabilized image sequence according to an embodiment.
  • image stabilization may be performed on the original image sequence 910 in which the moving object is photographed.
  • the original image sequence 910 may include images in which the same subject is photographed at different time points.
  • image stabilization may be performed to minimize shaking of the background area.
  • the background region of each image can be identified, and the images can be aligned such that the center point for the background region of each image is fixed at one location.
  • the images of the image sequence 910 are aligned so that the shaking of the background region is corrected, as illustrated in FIG. 9, the image sequence 920 in which the background region is stabilized may be generated.
  • FIG. 10 is a diagram illustrating an example of a stabilized time-lapse image according to an embodiment.
  • Time-lapse is a method that shoots one frame at a time at predetermined intervals while skipping long durations, called intermittent, slow-speed or slow shooting.
  • time-lapse images When projecting time-lapse images at normal speed, they appear as a momentary motion due to the compression of time and speed.
  • the type lab image can be produced by editing a plurality of image files generated using a video editing program.
  • time-lapse images 1010, 1020, 1030, and 1040 of FIG. 10 when the images are continuously displayed, as shown in FIG. 9, even when the object is large and shakes, it is difficult for the viewer to feel. However, the shaking of the background area which is commonly displayed at the fixed position in each image can be easily felt by the viewer. Accordingly, in the case of the time-lapse images 1010, 1020, 1030, and 1040 of FIG. 10, image stabilization may be performed to minimize shaking of the background area.
  • the background region of each image can be identified, and the images can be aligned such that the center point for the background region of each image is fixed at one location.
  • the time-lapse images 1010, 1020, 1030, and 1040 may be aligned to generate a time-lapse image sequence in which a background area is stabilized.
  • FIG. 11 is a flowchart illustrating a method of performing image stitching according to an exemplary embodiment.
  • the electronic apparatus 1000 that processes a plurality of images may acquire a protrusion value indicating a degree of protrusion of each pixel in the plurality of images.
  • the protrusion value for each pixel may be determined through various methods based on various information about the image such as brightness, edge, symmetry, and color of the image.
  • the protrusion value according to an embodiment may have a value between 0 and 1.
  • the corresponding pixel area may correspond to a foreground area of high visual importance.
  • the corresponding pixel area may correspond to a background area having low visual importance.
  • the electronic apparatus 1000 may identify an object based on the protrusion value for each pixel acquired in operation 1110.
  • the identified object may include a foreground area having high visual importance.
  • the electronic apparatus 1000 may obtain a reference value for identifying the object based on the protrusion value.
  • the electronic apparatus 1000 may identify an area where the protrusion value has a value greater than or equal to the reference value as the area where the object is displayed.
  • image stitching since image stitching may be performed based on a center point of an object included in an image, the image stitching may be performed at a lower amount of computation than when image stitching is performed based on a plurality of feature points. Can be.
  • the electronic apparatus 1000 may perform image stitching by combining a plurality of images to minimize distortion of the identified object.
  • the electronic apparatus 1000 may perform image stitching while minimizing distortion of an object by combining a plurality of images such that the reference points for the object regions identified in each image overlap each other.
  • the reference point for the object area may be determined according to Equation 1 described above.
  • image stitching may be performed to stably display an object having high visual importance without distortion.
  • a process necessary for correcting a panoramic image may be additionally performed during image stitching.
  • the electronic apparatus 1000 may display a panorama image in which a plurality of images are combined.
  • FIG. 12 is a diagram illustrating an example of a panoramic image generated by combining a plurality of images, according to an exemplary embodiment.
  • the plurality of images 1210 and 1211 may include images captured by the same subject, and may be combined with each other to generate panorama images 1220 and 1221.
  • a panorama image 1221 in which distortion of the subject is minimized may be obtained.
  • two images 1210 and 1211 may be aligned according to a reference line 1213 passing through a center point of a mountain peak among the background portions of the images 1210 and 1211.
  • the reference line 1214 shown in the first image 1210 passes through the center point of the subject, while the reference line 1214 shown in the second image 1210 indicates the subject. Is out of the center.
  • the panorama image 1220 in which the subject is distorted may be obtained.
  • a panorama image 1221 in which the subject is not distorted may be obtained.
  • the electronic apparatus 1000 may perform image stitching while minimizing distortion of an object by combining the two images 1210 and 1211 such that the reference points for the object regions identified in each image overlap each other.
  • the reference point for the object area may be determined according to Equation 1 described above.
  • FIG. 13 is a diagram illustrating an example of a panoramic image generated by combining a plurality of images, according to an exemplary embodiment.
  • the plurality of images 1310 and 1320 include images photographed for the same subject and may be combined with each other to generate a panorama image 1330.
  • a panorama image 1221 in which distortion of the subject is minimized may be obtained.
  • the subject may be identified as an object based on the protrusion value for each pixel of the image.
  • an object may be identified in each of the images 1310 and 1320, and center points 1312 and 1322 of the identified object may be determined. Therefore, image stitching according to an embodiment may be performed by combining the two images 1310 and 1320 such that the center points 1312 and 1322 of each image overlap each other.
  • FIG. 14 is a diagram illustrating an example of a panoramic video generated by combining a plurality of images, according to an exemplary embodiment.
  • a panorama image may be generated by combining a plurality of images according to an exemplary embodiment.
  • 1410 to 1440 illustrated in FIG. 14 indicate a panorama video generated by combining a plurality of panorama images consecutive in time.
  • image stitching may be performed to minimize distortion of the moving object 1421.
  • image stitching and image stabilization may be performed on the plurality of images so that the movement of the object 1421 is stabilized without shaking. Therefore, according to an embodiment of the present disclosure, the background portion excluding the object 1421 may be distorted or shaken by image stitching and image stabilization, but the portion of the object 1421 may be stably displayed without being distorted. Since the viewer is more likely to focus on the portion of the object 1421 rather than the background, even if the background portion is slightly distorted or shaken, when the distortion and shaking of the object 1421 are minimized, the image quality felt by the viewer is felt. Can be improved.
  • image stabilization or image stitching may be performed to minimize distortion and shaking of an object included in the foreground area of the image.
  • image stabilization or image stitching may be performed based on a center point of an object included in a foreground area of an image
  • the amount of computation is lower than that of stabilizing an image or performing image stitching based on a plurality of feature points.
  • the image can be processed.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, or program modules, and includes any information delivery media.
  • unit may be a hardware component such as a processor or a circuit, and / or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

복수 개의 영상을 처리하는 전자 장치 및 그 동작 방법이 제공된다. 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하고, 각 픽셀에 대한 돌출값에 기초하여, 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하고, 복수 개의 영상이 연속적으로 표시될 때, 식별된 오브젝트의 흔들림을 보정하기 위한, 이미지 안정화를 수행하고, 이미지 안정화가 수행된 복수 개의 영상을 표시하는, 전자 장치에서 복수 개의 영상을 처리하는 방법이 제공된다.

Description

복수 개의 영상을 처리하는 방법 및 전자 장치
본 개시는, 복수 개의 영상을 처리하는 방법 및 전자 장치에 관한 것이다. 구체적으로, 복수 개의 영상에 대하여, 이미지 안정화(image stabilization) 또는 이미지 스티칭(image stitching)을 수행하는 방법 및 전자 장치에 관한 것이다.
고정되지 않은 카메라에 의해 야기되는 원치 않는 움직임과 떨림은 영상의 품질을 저하시키는 주요 요인이다. 따라서, 카메라의 흔들림으로부터 영상을 안정화시키는 과정은, 영상의 품질을 향상 시키기 위한 중요한 프로세스이다.
영상의 흔들림(jittering)을 보정하기 위한 방법으로, 자이로 센서를 이용한 하드웨어적인 방법, 영상 프레임간 모션 변화를 이용하는 방법 등이 있다.
그러나, 상술한 방법에 의하면, 상대적으로 시청자의 주의가 집중되는 영상의 전경 영역인지 여부에 대한 고려 없이, 영상 일부 또는 전체 영역에 대하여 이미지 안정화가 수행될 수 있다. 따라서, 영상에 대해 이미지 안정화가 수행되더라도, 영상의 전경 영역에 흔들림이 있거나 왜곡된 부분이 존재하는 경우, 영상을 시청하는 시청자가 체감하는 영상의 품질이 저하되는 문제가 존재한다.
일 실시 예는, 시청자가 체감하는 영상의 품질이 향상되도록, 복수 개의 영상에 대하여 이미지 안정화 또는 이미지 스티칭을 수행하기 위한 영상 처리 방법 및 전자 장치를 제공하기 위한 것이다.
일 실시 예에 의하면, 영상의 전경 영역에 포함된 오브젝트에 대한 왜곡 및 흔들림이 최소화되도록, 이미지 안정화 또는 이미지 스티칭을 수행할 수 있다.
일 실시 예에 의하면, 영상의 전경 영역에 포함된 오브젝트의 중심점에 기초하여 이미지 안정화 또는 이미지 스티칭을 수행할 수 있으므로, 다수의 특징점에 기초하여 이미지를 안정화하거나 이미지 스티칭을 수행하는 경우보다 낮은 연산량으로 영상이 처리될 수 있다.
도 1은 일 실시 예에 의한 복수 개의 영상을 처리하는 시스템을 나타낸 도면이다.
도 2 및 도 3은 일 실시 예에 의한 전자 장치의 내부 구성을 나타낸 블록도이다.
도 4는 일 실시 예에 의한 복수 개의 영상을 처리하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 따라 오브젝트를 식별하는 방법을 나타낸 예시 도면이다.
도 6은 일 실시 예에 따라 복수 개의 영상을 안정화하는 일 예를 나타낸 도면이다.
도 7은 일 실시 예에 따라 복수 개의 영상을 움직임 예측에 기초하여 재정렬하는 일 예를 도시한 도면이다.
도 8 및 도 9는 일 실시 예에 따라 안정화된 영상 시퀀스의 일 예를 나타낸 도면이다.
도 10은 일 실시 예에 의한 안정화된 타임 랩스 영상의 일 예를 나타낸 도면이다.
도 11은 일 실시 예에 따라 이미지 스티칭을 수행하는 방법을 나타낸 순서도이다.
도 12는 일 실시 예에 따라 복수 개의 영상이 결합되어 생성된 파노라마 영상의 일 예를 나타낸 도면이다.
도 13은 일 실시 예에 따라 복수 개의 영상이 결합되어 생성된 파노라마 영상의 일 예를 나타낸 도면이다.
도 14는 일 실시 예에 따라 복수 개의 영상이 결합되어 생성된 파노라마 동영상의 일 예를 나타낸 도면이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하는 단계; 상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하는 단계; 상기 복수 개의 영상이 연속적으로 표시될 때, 상기 식별된 오브젝트의 흔들림을 보정하기 위한, 이미지 안정화를 수행하는 단계; 및 상기 이미지 안정화가 수행된 복수 개의 영상을 표시하는 단계를 포함하는, 전자 장치에서 시간적으로 연속된 복수 개의 영상을 처리하는 방법을 제공할 수 있다.
또한, 본 개시의 제2 측면은, 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하는 단계; 상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하는 단계; 상기 식별된 오브젝트에 대한 왜곡이 최소화되도록, 상기 복수 개의 영상을 결합함으로써, 이미지 스티칭을 수행하는 단계; 및 상기 이미지 스티칭이 수행된 결과에 따라 상기 복수 개의 영상이 결합된 파노라마 영상을 표시하는 단계를 포함하는, 전자 장치에서 복수 개의 영상을 처리하는 방법을 제공할 수 있다.
또한, 본 개시의 제 3 측면은, 제 1 측면 및 제2 측면 중 적어도 하나의 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품을 제공할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시 예에 의한 복수 개의 영상을 처리하는 시스템을 나타낸 도면이다.
도 1을 참조하면, 일 실시 예에 따라 복수 개의 영상을 처리하는 시스템(100)에 의해 입력된 영상을 처리하는 단계 및 처리된 영상을 표시하는 단계가 수행될 수 있다. 예를 들어, 영상 처리 단계는, 시스템(100)의 영상 촬영 유닛(111), 외부 메모리(112), 프로세서(113) 및 내부 메모리(114)에 의해 수행될 수 있다. 또한, 영상 표시 단계는 시스템(100)의 디스플레이(121), 외부 메모리(122), 및 가상현실 헤드셋(123)에 의해 처리될 수 있다.
영상 촬영 유닛(111)은 적어도 하나의 카메라를 통해 영상을 촬영함으로써, 복수 개의 영상을 획득할 수 있다. 일 실시 예에 의하면, 복수 개의 영상은, 시간적으로 연속된 영상 시퀀스를 포함할 수 있다. 또는, 일 실시 예에 의하면, 복수 개의 영상은 파노라마 영상으로 합성될 수 있는 다수의 영상을 포함할 수 있다. 상기 다수의 영상은 서로 인접한 위치에서 촬영된 영상일 수 있으며, 이중 적어도 두 개의 영상은 동일한 오브젝트를 포함하는 영상일 수 있다.
외부 메모리(112)는 일 실시 예에 따라 처리될 수 있는 복수 개의 영상을 저장하는 메모리 장치일 수 있다. 복수 개의 영상은 영상 촬영 유닛(111)에 의해 촬영된 영상일 수 있다. 외부 메모리(112)는 일 실시 예에 따라 복수 개의 영상이 처리될 수 있도록, 외부 메모리(112)에 저장된 영상들을 프로세서(113)에 제공할 수 있다.
프로세서(113)는 영상 촬영 유닛(111)에 의해 획득된 복수 개의 영상 또는 외부 메모리(112)에 저장된 복수 개의 영상을 일 실시 예에 따라 처리할 수 있다. 일 실시 예에 의하면, 프로세서(113)는 복수 개의 영상에 공통으로 포함된 오브젝트를 식별할 수 있다. 예를 들면, 프로세서(113)는 영상의 각 픽셀에 대한 돌출값에 기초하여, 복수 개의 영상에 공통으로 포함된 오브젝트를 식별할 수 있다. 돌출값은 픽셀 영역이 돌출되어 있는 정도를 나타내는 값이다. 그리고, 프로세서(113)는, 복수 개의 영상이 연속적으로 표시되는 경우, 상기 식별된 오브젝트의 흔들림이 최소화되도록, 상기 복수 개의 영상을 안정화할 수 있다.
일 실시 예에 의하면, 프로세서(113)는 영상에서 돌출된(saliency) 영역을 오브젝트로 식별할 수 있다. 영상 촬영의 대상이 되는 피사체는, 일반적으로, 배경 부분 보다 카메라 가까이에 위치하게 되므로, 일 실시 예에 의한 돌출된 오브젝트로 식별될 수 있다. 따라서, 일 실시 예에 의하면, 시청자의 주의가 집중되는 피사체를 중심으로 영상의 안정화가 수행될 수 있다.
또한, 프로세서(113)는, 이미지 스티칭을 수행하여 파노라마 영상을 생성하는 경우, 각 영상에 공통으로 포함된 오브젝트를 식별하고, 식별된 오브젝트에 대한 왜곡이 최소화되도록 복수 개의 영상을 결합할 수 있다.
노출 차이, 카메라 움직임, 렌즈 뒤틀림 등 다양한 이유로 인해, 프로세서(113)가 왜곡 없이 이미지 스티칭을 수행하는 것은 거의 불가능하다. 그러나, 프로세서(113)는 영상의 배경 영역보다 시청자의 주의가 집중되는 피사체 영역에 대해 우선적으로 왜곡이 최소화되도록 처리함이 바람직하다. 일 실시예에 의하면, 전경 영역에 포함된 피사체를 기준으로 이미지 스티칭이 수행될 수 있으므로, 배경 영역보다 우선적으로 피사체 영역의 왜곡이 최소화될 수 있다.
내부 메모리(114)는 프로세서(113)에 의해 복수 개의 영상이 처리될 때 생성되는 중간 데이터를 저장할 수 있다. 예를 들면, 내부 메모리(114)는 영상의 각 영역에 대해 돌출된 정도에 관한 정보 및 오브젝트에 관한 식별 정보 등을 저장할 수 있다. 상술된 예에 한하지 않고, 내부 메모리(114)는 일 실시 예에 따라 영상이 처리되는 과정에서 발생된 다양한 종류의 중간 데이터를 저장할 수 있다.
디스플레이(121)는, 프로세서(113)에 의해 처리된 복수 개의 영상을 표시할 수 있다. 예를 들면, 디스플레이(121)는, 오브젝트의 흔들림 및 왜곡이 최소화되도록, 처리된 영상 시퀀스를 표시할 수 있다. 또한, 디스플레이(121)는 오브젝트에 대한 왜곡이 최소화되도록 생성된 파노라마 영상을 표시할 수 있다.
외부 메모리(122)는, 프로세서(113)에 의해 처리된 복수 개의 영상을 저장할 수 있다. 예를 들면, 외부 메모리(122)는, 일 실시 예에 따라 처리된 영상 시퀀스 및 파노라마 영상을 저장할 수 있다. 외부 메모리(122)에 저장된 복수 개의 영상은, 추후 사용자 입력에 따라 디스플레이(121)를 통해 표시되거나, 다른 외부 장치로 전송될 수 있다.
가상현실 헤드셋(123)은 일반적인 2D(2 dimentional) 영상보다 넓은 화각, 예를 들면, 120도, 180도, 360도 등의 화각을 가지는 영상을 표시하여, 사용자가 가상의 공간을 현실 세계와 같이 인식할 수 있는 컨텐츠를 제공할 수 있다.
일 실시 예에 의하면, 가상현실 헤드셋(123)에 의해 표시되는 넓은 화각의 영상은, 이미지 스티칭을 통해 복수 개의 영상들로부터 생성된 파노라마 영상일 수 있다. 또한, 가상현실 헤드셋(123)은 시간적으로 연속된 복수개의 파노라마 영상을 연속적으로 표시함으로써, 사용자가 가상 현실을 현실 세계와 같이 인식할 수 있는 환경을 제공할 수 있다.
일 실시 예에 따라, 가상현실 헤드셋(123)에 의해 표시되는 파노라마 영상은, 오브젝트에 대한 왜곡이 최소화되도록 이미지 스티칭이 수행됨으로써, 생성될 수 있다. 또한, 시간적으로 연속된 복수개의 파노라마 영상은, 영상의 오브젝트의 흔들림이 최소화되도록, 이미지 안정화가 수행됨으로써, 생성될 수 있다.
일 실시 예에 의한 이미지 안정화 또는 이미지 스티칭은, 영상 시퀀스의 안정화, 액션 숏 메이킹, GIF 파일 생성, 저속촬영, 파노라마 영상, 파노라마 시퀀셜 영상 등에 이용될 수 있다. 파노라마 시퀀셜 영상은, 시간적으로 연속된 파노라마 영상들을 포함하는 영상 시퀀스일 수 있다.
또한, 일 실시 예에 의한 이미지 안정화 또는 이미지 스티칭은 특정 오브젝트의 움직임을 검출하는 스마트 가드 시스템에 이용될 수 있다. 일 실시 예에 의하면, 오브젝트의 왜곡 및 흔들림이 최소화되도록 영상 시퀀스가 처리됨에 따라, 낮은 오류 발생률로 오브젝트의 움직임이 검출될 수 있다.
상술한 예에 한하지 않고, 일 실시 예에 의한 이미지 안정화 또는 이미지 스티칭은 영상을 생성하는 다양한 기술에 적용 및 응용될 수 있다.
도 2 및 도 3은 일 실시 예에 의한 전자 장치(1000)의 내부 구성을 나타낸 블록도이다.
도 2를 참조하면, 일 실시 예에 의한 전자 장치(1000)는 메모리(1700), 프로세서(1300), 및 디스플레이(1210)를 포함할 수 있다. 도 2에 도시된 프로세서(1300) 및 디스플레이(1210)는 도 1에 도시된 프로세서(113) 및 디스플레이(121)와 대응될 수 있다.
그러나, 도 2에 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.
예를 들어, 도 3에 도시된 바와 같이, 일부 실시예에 따른 전자 장치(1000)는, 메모리(1700), 디스플레이부(1210) 및 프로세서(1300) 이외에 사용자 입력부(1100), 통신부(1500), 출력부(1200), 센싱부(1400) 및 A/V 입력부(1600)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 사용자 입력부(1100)는, 복수 개의 영상을 처리하거나, 처리된 복수 개의 영상을 표시하기 위한 사용자 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 전자 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1210)는, 일 실시 예에 따라 이미지 안정화 또는 이미지 스티칭이 수행된 복수 개의 영상을 디스플레이할 수 있다.
한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(1000)의 구현 형태에 따라 전자 장치(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
구체적으로, 프로세서(1300)는 복수 개의 영상으로부터 돌출된 오브젝트를 식별하고, 식별된 오브젝트의 흔들림을 보정하기 위한 이미지 안정화를 수행할 수 있다.
또한, 프로세서(1300)는, 복수 개의 영상으로부터 돌출된 오브젝트를 식별하고, 식별된 오브젝트에 대한 왜곡이 최소화되도록 이미지 스티칭을 수행하여 파노라마 영상을 생성할 수 있다.
또한, 프로세서(1300)는 복수 개의 영상에서 식별된 돌출된 오브젝트의 중심점을 결정하고, 중심점이 서로 중첩되어 표시되도록 복수 개의 영상을 정렬시킴으로써, 이미지 안정화 또는 이미지 스티칭을 수행할 수 있다.
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(1500)는, 전자 장치(1000)가 다른 전자 디바이스(2000) 또는 외부 디바이스(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시 예에 의한, 통신부(1500)는, 외부 장치(미도시)와 데이터를 송수신할 수 있다. 예를 들면, 통신부(1500)는, 프로세서(1300)에 의해 안정화된 영상 시퀀스 또는 이미지 스티칭이 수행된 결과 생성된 파노라마 영상을 외부 장치로 전송할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 일 실시 예에 의하면, A/V 입력부(1600)에 의해 생성된 비디오 신호에 대해 이미지 안정화 또는 이미지 스티칭이 수행될 수 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 일 실시 예에 의한 메모리(1700)는 이미지 안정화가 수행된 영상 시퀀스를 저장할 수 있다. 또한, 메모리(1700)는 이미지 스티칭이 수행된 결과 생성된 파노라마 영상을 저장할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다.
도 4는 일 실시 예에 의한 복수 개의 영상을 처리하는 방법을 나타낸 순서도이다.
일 실시 예에 의해 처리되는 복수 개의 영상은 시간적으로 연속하여 표시될 수 있는 영상 시퀀스일 수 있다. 영상 시퀀스는, 예를 들면 동영상 파일, GIF(graphics interchange format) 파일 등의 포맷으로 구성될 수 있다.
도 4를 참조하면, 단계 410에서, 복수 개의 영상을 처리하는 전자 장치(1000)는, 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득할 수 있다. 예를 들면, 돌출값이 클수록, 픽셀 영역은 전경 영역에 속할 수 있다. 각 픽셀에 대한 돌출값은, 영상의 밝기, 에지, 대칭성, 컬러, 선명도, 초점 정보 등 영상에 대한 다양한 정보에 기초하여 다양한 방법에 의해 결정될 수 있다.
일 실시 예에 의한 돌출값은 0과 1 사이의 값을 가질 수 있다. 예를 들면, 돌출값이 1에 가까울수록, 대응되는 픽셀 영역은 시각적인 중요도가 높은 전경(foreground) 영역일 수 있다. 또한, 돌출값이 0에 가까울수록, 대응되는 픽셀 영역은 시각적인 중요도가 낮은 배경(background) 영역일 수 있다.
따라서, 일 실시 예에 의하면, 전자 장치(1000)는 돌출값에 기초하여 시각적인 중요도가 높은 전경 영역을 오브젝트로서 식별할 수 있고, 식별된 오브젝트를 중심으로, 이미지 안정화 또는 이미지 스티칭을 수행할 수 있다. 시청자의 주의가 집중되는 전경 영역에 대한 왜곡 및 흔들림이 최소화됨에 따라, 시청자에 의해 체감되는 영상의 품질이 향상될 수 있다.
단계 420에서, 전자 장치(1000)는 단계 410에서 획득된 각 픽셀에 대한 돌출값에 기초하여, 오브젝트를 식별할 수 있다. 일 실시 예에 따라 식별된 오브젝트는, 시각적인 중요도가 높은 전경 영역을 포함할 수 있다.
예를 들면, 전자 장치(1000)는 돌출값에 기초하여, 오브젝트를 식별하기 위한 기준값을 결정하고, 기준값을 이용하여 오브젝트를 식별할 수 있다. 전자 장치(1000)는 돌출값이 기준값 이상의 값을 가지는 영역을 오브젝트가 표시된 영역으로 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 기준값에 따라 영상과 대응되는 영역에서 0 또는 1 값을 가지는 바이너리 마스크를 생성할 수 있다. 바이너리 마스크에 의해 구분된 영상 영역이 오브젝트로서 식별될 수 있다.
일 실시 예에 의한 돌출값의 기준값은, 각 픽셀의 돌출값, 엣지 영역, 및 오브젝트의 형태 등 다양한 정보에 기초하여 결정될 수 있다. 예를 들면, 전자 장치(1000)는 돌출값에 따라 영상 영역을 두 개의 영역, 예를 들면, 오브젝트 영역과 나머지 영역(ex. 배경 영역)으로 구분하기 위한 기준값을 결정할 수 있다.
일 실시 에에 의하면, 영상에 포함된 오브젝트의 중심점을 기준으로, 이미지 안정화가 수행될 수 있으므로, 다수의 특징점을 기준으로 이미지 안정화를 수행하는 경우보다 낮은 연산량으로, 일 실시 예에 의한 이미지 안정화가 수행될 수 있다.
단계 430에서, 전자 장치(1000)는 복수 개의 영상이 연속적으로 표시될 때 식별된 오브젝트의 흔들림을 보정하기 위한 이미지 안정화를 수행할 수 있다. 예를 들면, 전자 장치(1000)는, 오브젝트의 흔들림이 최소화되도록, 복수 개의 영상이 디스플레이에서 표시되는 위치를 수정함으로써, 복수 개의 영상들을 안정화할 수 있다. 일 실시 예에 의하면, 영상의 배경 영역에 대한 흔들림 보정이 미흡하더라도, 시각적인 중요도가 높은 오브젝트에 대한 흔들림 및 왜곡이 최소화되도록 영상이 수정될 수 있다.
단계 440에서, 전자 장치(1000)는 단계 430에서 안정화가 수행된 복수 개의 영상을 표시할 수 있다. 예를 들면, 안정화가 수행된 복수 개의 영상을 연속적으로 표시할 수 있다.
도 5는 일 실시 예에 따라 오브젝트를 식별하는 방법을 나타낸 예시 도면이다.
도 5을 참조하면, 전자 장치(1000)는 원본 영상(510)에 대하여, 돌출 값을 계산함으로써, 각 픽셀에 대한 돌출값을 나타내는 돌출맵(520)을 생성할 수 있다. 돌출맵(520)에서, 돌출값은 0에서 1 사이의 값일 수 있고, 돌출값이 1에 가까울수록, 대응되는 픽셀은, 시각적인 중요도가 높은 전경 영역에 포함된 픽셀일 수 있다.
전자 장치(1000)는 전경 영역의 오브젝트를 식별하기 위하여, 돌출값에 대한 기준값을 획득할 수 있다. 돌출값에 대한 기준값은 미리 설정된 값으로 결정되거나, 각 픽셀의 돌출값에 기초하여 오브젝트를 배경 영역으로부터 구분할 수 있는 값으로 결정될 수 있다. 상술한 예에 한하지 않고, 기준값은 다양한 방법에 따라 결정될 수 있다.
전자 장치(1000)는, 다양한 방법에 따라 결정된 기준값에 기초하여, 영상에서 오브젝트를 식별하기 위한 바이너리 마스크(530)를 생성할 수 있다. 바이너리 마스크(530)에서 각 픽셀은, 각 픽셀에 대한 돌출값이 기준값보다 크면 1, 작으면 0의 값을 가질 수 있다. 도 5에 도시된 바이너리 마스크(530)에 의하면, 1의 값을 가지는 픽셀은 흰색, 0의 값을 가지는 픽셀은 검은색으로 표시될 수 있다. 일 실시 예에 의한 전자 장치(1000)는, 바이너리 마스크(530)에 의해, 구분된 흰색 영역을 오브젝트 영역으로 식별할 수 있다.
전자 장치(1000)는 540에 도시된 바와 같이, 바이너리 마스크(530)에 의해 식별된 오브젝트를 포함하는 제1 도형(541)을 생성할 수 있다. 제1 도형(541)은, 오브젝트를 포함한 최소 영역을 포함하도록 생성될 수 있다. 오브젝트 영역을 포함한 제1 도형(541)은 540에 도시된 바와 같이, 직사각형 모양으로 생성될 수 있으나, 이에 한하지 않고, 다양한 형태의 도형으로 생성될 수 있다. 상술한 제1 도형(541)은, 후술될 도 6과 관련된 설명에서 움직임 예측을 통해 영상을 재정렬하는 데에 이용될 수 있다.
또한, 전자 장치(1000)는, 오브젝트에 대한 중심점(542)을 결정할 수 있다. 전자 장치(1000)는 중심점(542)을 이용하여 복수 개의 영상을 정렬시킴으로써 이미지 안정화를 수행할 수 있다.
오브젝트의 중심점(542)은, 아래 수학식 1와 같이 돌출값에 의한 무게중심을 찾는 수식에 따라서 결정될 수 있다.
Figure PCTKR2018009572-appb-img-000001
수학식 1에서, saliency(x)는, 픽셀 x의 돌출값을 나타내고, Foreground 는 바이너리 마스크(530)에 따라 식별된 오브젝트 영역을 의미할 수 있다. 또한, x는 픽셀 x의 좌표 값을 나타낼 수 있다. 수학식 1에 의하면, 기존의 무게중심을 구하는 수식에 따라 중심점(Saliency Center)이 결정될 수 있으므로, 돌출값이 큰 영역와 인접한 영역에서 중심점(542)이 결정될 수 있다. 다만, 오브젝트의 중심점(542)은 상술한 예시 방법에 한하지 않고, 다양한 방법에 따라 결정될 수 있다.
일 실시 예에 따라 오브젝트를 식별하는 방법은 이하 코드에 따라서 수행될 수 있다. 아래 제시된 코드는 예시일 뿐, 이에 한정되지 않는다.
bool SalientRegionDetector::calculate(const media::Image* image)
{
mSalientRectInfo.rect.setSize(mvg::Size::empty);
if (0 == image)
{
LOGE("Zero image＼n");
return false;
}
if (0 == mSaliency)
{
LOGE("Saliency engine is zero＼n");
return false;
}
uint longImageSide = image->longSide();
if (0 == longImageSide)
{
LOGE("Zero image side length＼n");
return false;
}
float scaleAspect = (float)kImageSizeForSaliency / longImageSide;
* if (scaleAspect < mvg::epsilon)
{
LOGE("Scaling aspect is zero＼n");
return false;
}
media::ImagePtr scaledImg = image->createResizedImage(int(image->width() * scaleAspect),
int(image->height() * scaleAspect), media::KEEP_NO_ASPECT_RATIO, media::Nearest);
if (0 == scaledImg)
{
LOGE("Scaled image was not created in saliency predictor＼n");
return false;
}
mvg::matrix<uint> imageMatrix(scaledImg->height(), scaledImg->width(), (uint*)(scaledImg->data()));
mvg::matrix<float> saliencyMap;
mSaliency->saliency(imageMatrix, saliencyMap);
if (0 == saliencyMap.size())
{
LOGE("Saliency was not calculated＼n");
return false;
}
uint matrixSize = saliencyMap.size();
if (matrixSize > kSaliencyBufSize)
{
LOGE("Too much size of saliency map＼n");
return false;
}
memcpy(mSaliecyBuffer, saliencyMap.raw(), sizeof(float) * matrixSize);
mvg::Threshold otsuRes = mvg::getOtsuSmoothResult(mSaliecyBuffer, matrixSize);
float threshold = otsuRes.threshold;
if (otsuRes.threshold > mvg::epsilon && otsuRes.sigma / otsuRes.threshold > kMinOtsuRatio
&& otsuRes.sigma > kSigmaLowerThreshold && otsuRes.sigma < kSigmaUpperThreshold)
threshold = mvg::min(otsuRes.threshold + kSigmaMultiplier * otsuRes.sigma, 0.9f);
findSaliencyCenter(saliencyMap, threshold, mSalientRectInfo.center);
mSalientRectInfo.center.x = mvg::round<short>(mSalientRectInfo.center.x / scaleAspect);
mSalientRectInfo.center.y = mvg::round<short>(mSalientRectInfo.center.y / scaleAspect);
findSaliencyRect(saliencyMap, threshold, mSalientRectInfo.rect);
mSalientRectInfo.rect = mSalientRectInfo.rect * (1.f / scaleAspect);
return true;
}
static void findSaliencyCenter(const mvg::matrix<float>& saliencyMap, float threshold, mvg::Point& salCenter)
{
const int rows = saliencyMap.num_rows();
const int cols = saliencyMap.num_cols();
float totalSaliency = 0.f;
float totalX = 0.f;
float totalY = 0.f;
for (int i = 0; i < cols; ++i)
for (int j = 0; j < rows; ++j)
{
float currSaliency = saliencyMap(j, i);
if (currSaliency >= threshold)
{
totalSaliency += currSaliency;
totalX += currSaliency * i;
totalY += currSaliency * j;
}
}
if (totalSaliency >= mvg::epsilon)
{
salCenter.x = mvg::round<short>(totalX / totalSaliency);
salCenter.y = mvg::round<short>(totalY / totalSaliency);
}
else
{
salCenter.x = (short)cols / 2;
salCenter.y = (short)rows / 2;
LOGI("Totally homogenuous image was detected＼n");
}
}
도 6은 일 실시 예에 따라 복수 개의 영상을 안정화하는 일 예를 나타낸 도면이다.
도 6의 610, 620 및 630은 각각 시간적으로 연속된 복수 개의 영상이다. 610, 620 및 630의 영상은 시간적으로 서로 인접한 영상일 수 있다. 또한, 611, 621 및 631은, 각 영상에서 식별된 오브젝트를 포함한 도형을 나타낸다. 상기 도형은, 오브젝트를 포함하되 최소 영역을 포함하도록 생성될 수 있다. 또한, 612, 622 및 632는, 각 영상에서 식별된 오브젝트 영역에 대한 중심점을 나타낸다. 도 6에 도시된 중심점은 상술한 수학식 1에 따라 결정될 수 있다.
일 실시 예에 의하면, 복수 개의 영상들(610, 620 및 630)은, 640에 도시된 것과 같이, 각 영상의 중심점(612, 622 및 632)이 동일한 위치(642)에 고정되도록 정렬될 수 있다.
또한, 복수 개의 영상들이 640과 같이 정렬된 후, 복수 개의 영상들이 서로 교차된 영역(641)에서 표시되는 영상이 최종적으로 획득될 수 있다. 복수 개의 영상들이 640과 같이 정렬됨에 따라 교차 영역(641) 밖에서는 표시될 영상 데이터가 존재하지 않는 경우가 발생하므로, 교차 영역(641)에 포함된 영상 부분만 표시되도록 복수 개의 영상들이 처리될 수 있다.
도 7은 일 실시 예에 따라 복수 개의 영상을 움직임 예측에 기초하여 재정렬하는 일 예를 도시한 도면이다.
도 7을 참조하면, 시간적으로 인접한 두 개의 영상(711, 721)에서, 각각 식별된 오브젝트를 포함하는 도형(712, 722)과, 중심점(713, 723)이 결정될 수 있다. 일 실시 예에 따라서, 두 영상(711, 721)은, 730에 도시된 것과 같이, 각 영상의 중심점(713, 723)이 동일한 위치(731)에 고정되도록 정렬될 수 있다.
730에서, 각 영상의 오브젝트 영역을 포함한 제1 도형(712, 722)이 서로 교차되는 영역을 포함하는 제2 도형(732)이 생성될 수 있다. 또한, 각 영상에서 제2 도형(732)과 각 영상에 대한 제2 도형(714, 724)은 서로 대응될 수 있다.
도 7에 도시된 715, 725는 각각 두 영상(711, 721)의 제2 도형(714, 724)에 포함된 영상을 나타낸 것이다. 일 실시 예에 의하면, 각 영상에 대한 제2 도형(714, 724)이 포함하는 영상 영역(715, 725)에서 움직임 예측(T)이 수행될 수 있고, 움직임 예측 결과(T)에 기초하여, 두 영상이 재정렬될 수 있다. 예를 들면, 움직임 예측(T)에 따라, 각 영상에 포함된 오브젝트의 위치가 다시 결정됨에 따라, 오브젝트의 중심점의 위치도 조정될 수 있다. 움직임 예측(T)에 따라 조정된 오브젝트 중심점의 위치에 따라서, 각각의 영상이 재정렬될 수 있다.
또한, 움직임 예측(T)은, 영상 시퀀스에 포함된 복수 개의 영상에서, 제2 도형 영역이 포함하는 영상 영역에 대해 수행될 수 있다. 따라서, 일 실시 예에 의하면, 제2 도형 영역에서 수행된 움직임 예측에 따라, 영상 시퀀스에 포함된 영상들이 재정렬될 수 있다.
도 8은 일 실시 예에 따라 안정화된 영상 시퀀스의 일 예를 나타낸 도면이다.
도 8을 참조하면, 원본 영상 시퀀스(810, 820, 830)에 대해 일 실시 예에 의한 이미지 안정화가 수행된 결과, 안정화된 영상 시퀀스(811, 821, 831)가 생성될 수 있다. 원본 영상 시퀀스(810, 820, 830)의 영상들은, 시간적으로 연속된 영상들일 수 있다.
도 8에 도시된 안정화된 영상 시퀀스(811, 821, 831)를 참조하면, 전경 영역에 해당되는 오브젝트의 흔들림을 보정하기 위해, 원본 영상들(810, 820, 830)이 정렬될 수 있다. 정렬된 영상들(810, 820, 830)이 서로 교차되는 영역에서 영상 시퀀스가 표시되도록 영상들이 처리됨에 따라, 안정화된 영상 시퀀스(811, 821, 831)는, 원본 영상들(810, 820, 830)의 크기보다 더 작은 크기로 표시될 수 있다.
도 9는 일 실시 예에 의한 안정화된 영상 시퀀스의 일 예를 나타낸 도면이다.
도 9를 참조하면, 움직이는 오브젝트가 촬영된 원본 영상 시퀀스(910)에 대해 이미지 안정화가 수행될 수 있다. 원본 영상 시퀀스(910)는 각각 다른 시점(time point)에서 동일한 피사체가 촬영된 영상들을 포함할 수 있다.
도 9의 영상 시퀀스(910)에서는, 오브젝트의 움직임이 커서, 흔들림이 있어도, 시청자가 이를 체감하기 어렵다. 그러나, 각 영상의 고정된 위치에서 공통적으로 표시되는 배경 영역에 대한 흔들림은 시청자에 의해 쉽게 체감될 수 있다. 따라서, 도 9의 영상 시퀀스(910)에 대해, 배경 영역의 흔들림이 최소화되도록 이미지 안정화가 수행될 수 있다.
예를 들면, 돌출값에 기초하여, 각 영상의 배경 영역이 식별될 수 있고, 각 영상의 배경 영역에 대한 중심점이 하나의 위치에 고정되도록, 영상들이 정렬될 수 있다. 배경 영역에 대한 흔들림이 보정되도록 영상 시퀀스(910)의 영상들이 정렬됨에 따라, 도 9에 도시된 바와 같이, 배경 영역이 안정화된 영상 시퀀스(920)가 생성될 수 있다.
도 10은 일 실시 예에 의한 안정화된 타임 랩스 영상의 일 예를 나타낸 도면이다.
타임랩스(Time-lapse)는 긴 지속 시간을 건너 띄면서 미리 예정된 일정한 간격에 따라 한번에 한 프레임씩 촬영하는 방식으로, 간헐 촬영, 미속 촬영 또는 완속 촬영이라고 한다. 타임랩스 영상을 정상 속도로 영사하면, 시간과 속도의 압축으로 인해 한 순간의 동작으로 나타나게 된다. 이렇게 생성된 다수의 영상 파일들을 동영상 편집 프로그램을 이용하여 편집함으로써 타입랩스 영상이 제작될 수 있다.
도 10의 타임랩스 영상들(1010, 1020, 1030 및 1040)도, 도 9와 같이, 영상들이 연속적으로 표시되는 경우, 오브젝트의 움직임이 커서, 흔들림이 있어도, 시청자가 체감하기 어렵다. 그러나, 각 영상에 고정된 위치에서 공통적으로 표시되는 배경 영역에 대한 흔들림은 시청자에 의해 쉽게 체감될 수 있다. 따라서, 도 10의 타임랩스 영상들(1010, 1020, 1030 및 1040)의 경우, 배경 영역의 흔들림이 최소화되도록 이미지 안정화가 수행될 수 있다.
예를 들면, 돌출값에 기초하여, 각 영상의 배경 영역이 식별될 수 있고, 각 영상의 배경 영역에 대한 중심점이 하나의 위치에 고정되도록, 영상들이 정렬될 수 있다. 일 실시 예에 따라 타임랩스 영상들(1010, 1020, 1030 및 1040)이 정렬됨으로써, 배경 영역이 안정화된 타임랩스 영상 시퀀스가 생성될 수 있다.
도 11은 일 실시 예에 따라 이미지 스티칭을 수행하는 방법을 나타낸 순서도이다.
도 11을 참조하면, 단계 1110에서, 복수 개의 영상을 처리하는 전자 장치(1000)는, 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득할 수 있다. 각 픽셀에 대한 돌출값은, 영상의 밝기, 에지, 대칭성, 컬러 등 영상에 대한 다양한 정보에 기초하여 다양한 방법을 통해 결정될 수 있다.
일 실시 예에 의한 돌출값은 0과 1 사이의 값을 가질 수 있다. 예를 들면, 돌출값이 1에 가까울수록, 대응되는 픽셀 영역은 시각적인 중요도가 높은 전경(foreground) 영역에 해당될 수 있다. 또한, 돌출값이 0에 가까울수록, 대응되는 픽셀 영역은 시각적인 중요도가 낮은 배경(background) 영역에 해당될 수 있다.
단계 1120에서, 전자 장치(1000)는 단계 1110에서 획득된 각 픽셀에 대한 돌출값에 기초하여, 오브젝트를 식별할 수 있다. 일 실시 예에 따라 식별된 오브젝트는, 시각적인 중요도가 높은 전경 영역을 포함할 수 있다.
예를 들면, 전자 장치(1000)는 돌출값에 기초하여, 오브젝트를 식별하기 위한 기준값을 획득할 수 있다. 전자 장치(1000)는 돌출값이 기준값 이상의 값을 가지는 영역을 오브젝트가 표시된 영역으로 식별할 수 있다.
일 실시 에에 의하면, 영상에 포함된 오브젝트의 중심점을 기준으로, 이미지 스티칭이 수행될 수 있으므로, 다수의 특징점을 기준으로 이미지 스티칭을 수행하는 경우보다 낮은 연산량으로, 일 실시 예에 의한 이미지 스티칭이 수행될 수 있다.
단계 1130에서, 전자 장치(1000)는 식별된 오브젝트에 대한 왜곡이 최소화되도록 복수 개의 영상을 결합함으로써, 이미지 스티칭을 수행할 수 있다. 예를 들면, 전자 장치(1000)는 각 영상에서 식별된 오브젝트 영역에 대한 기준점이 서로 중첩되도록, 복수 개의 영상을 결합함으로써, 오브젝트에 대한 왜곡을 최소화하면서 이미지 스티칭을 수행할 수 있다. 오브젝트 영역에 대한 기준점은, 상술한 수학식 1에 따라 결정될 수 있다.
일 실시 예에 의하면, 영상의 배경 부분에 대한 결합이 부자연스럽더라도, 시각적인 중요도가 높은 오브젝트가 왜곡 없이 안정적으로 표시되도록 이미지 스티칭이 수행될 수 있다.
일 실시 예에 의하면, 이미지 스티칭 시 엣지 평활화 처리 등 파노라마 영상 보정을 위해 필요한 프로세스가 추가로 수행될 수 있다.
단계 1140에서, 전자 장치(1000)는 단계 1130에서 이미지 스티칭이 수행된 결과 복수 개의 영상이 결합된 파노라마 영상이 표시될 수 있다.
도 12는 일 실시 예에 따라 복수 개의 영상이 결합되어 생성된 파노라마 영상의 일 예를 나타낸 도면이다.
도 12를 참조하면, 복수 개의 영상(1210, 1211)은 동일한 피사체에 대해 촬영된 영상을 포함하고, 서로 결합됨으로써 파노라마 영상(1220, 1221)이 생성될 수 있다.
도 12에 도시된 예와 같이, 일 실시 예에 의하면, 피사체의 중심점을 기준으로 이미지 스티칭이 수행됨으로써, 피사체의 왜곡이 최소화된 파노라마 영상(1221)이 획득될 수 있다.
도 12를 참조하면, 영상들(1210, 1211)의 배경 부분 중 산봉우리의 중심점을 지나가는 기준선(1213)에 따라 두 영상(1210, 1211)이 정렬될 수 있다. 배경 부분을 기준으로 두 영상(1210, 1211)이 정렬됨에 따라, 첫번째 영상(1210)에 표시된 기준선(1214)은, 피사체의 중심점을 지나가지만, 두번째 영상(1210)에 표시된 기준선(1214)은 피사체의 중심에서 벗어나 있다.
배경 부분을 중심으로 표시된 기준선(1213)에 따라서 두 영상(1210, 1211)이 결합되는 경우, 피사체가 왜곡되어 있는 파노라마 영상(1220)이 획득될 수 있다. 그러나, 피사체를 기준으로 두 영상(1210, 1211)이 결합되는 경우, 피사체가 왜곡되어 있지 않은 파노라마 영상(1221)이 획득될 수 있다.
예를 들면, 전자 장치(1000)는 각 영상에서 식별된 오브젝트 영역에 대한 기준점이 서로 중첩되도록, 두 영상(1210, 1211)을 결합함으로써, 오브젝트에 대한 왜곡을 최소화하면서 이미지 스티칭을 수행할 수 있다. 오브젝트 영역에 대한 기준점은, 상술한 수학식 1에 따라 결정될 수 있다.
도 13은 일 실시 예에 따라 복수 개의 영상이 결합되어 생성된 파노라마 영상의 일 예를 나타낸 도면이다.
도 13을 참조하면, 복수 개의 영상(1310, 1320)은 동일한 피사체에 대해 촬영된 영상을 포함하고, 서로 결합됨으로써 파노라마 영상(1330)이 생성될 수 있다.
도 13에 도시된 예와 같이, 일 실시 예에 의하면, 피사체의 중심점을 기준으로 이미지 스티칭이 수행됨에 따라, 피사체의 왜곡이 최소화된 파노라마 영상(1221)이 획득될 수 있다. 일 실시 예에 의하면, 피사체는, 영상의 각 픽셀에 대한 돌출값에 기초하여, 오브젝트로 식별될 수 있다.
예를 들면, 도 5에 도시된 예에 따라, 각각의 영상(1310, 1320)에서 오브젝트가 식별될 수 있고, 식별된 오브젝트의 중심점(1312, 1322)이 결정될 수 있다. 따라서, 일 실시 예에 의한 이미지 스티칭은, 각 영상의 중심점(1312, 1322)이 서로 중첩되도록, 두 영상(1310,1320)이 결합됨으로써 수행될 수 있다.
도 14는 일 실시 예에 따라 복수 개의 영상이 결합되어 생성된 파노라마 동영상의 일 예를 나타낸 도면이다.
도 14를 참조하면, 일 실시 예에 따라 복수 개의 영상이 결합됨으로써, 파노라마 영상이 생성될 수 있다. 도 14에 도시된 1410 내지 1440은, 시간적으로 연속된 복수 개의 파노라마 영상들이 결합됨으로써 생성된 파노라마 동영상을 나타낸다.
파노라마 동영상에서, 움직이는 오브젝트(1421)의 왜곡이 최소화되도록 이미지 스티칭이 수행될 수 있다. 예를 들면, 복수 개의 영상에 대하여, 오브젝트(1421)의 움직임이 흔들리지 않고 안정되면서, 왜곡이 최소화되도록 이미지 스티칭 및 이미지 안정화가 수행될 수 있다. 따라서, 일 실시 예에 의하면, 영상에서 오브젝트(1421)를 제외한 배경 부분은 이미지 스티칭 및 이미지 안정화에 의해 왜곡되거나 흔들릴 수 있으나, 오브젝트(1421) 부분은 왜곡되지 않고 안정감 있게 표시될 수 있다. 시청자는, 배경보다는 오브젝트(1421) 부분에 집중하여 시청할 가능성이 높으므로, 배경 부분이 다소 왜곡되거나 흔들리더라도, 오브젝트(1421)의 왜곡 및 흔들림이 최소화되는 경우, 시청자에 의해 체감되는 영상 품질은 향상될 수 있다.
일 실시 예에 의하면, 영상의 전경 영역에 포함된 오브젝트에 대한 왜곡 및 흔들림이 최소화되도록, 이미지 안정화 또는 이미지 스티칭을 수행할 수 있다.
일 실시 예에 의하면, 영상의 전경 영역에 포함된 오브젝트의 중심점에 기초하여 이미지 안정화 또는 이미지 스티칭을 수행할 수 있으므로, 다수의 특징점에 기초하여 이미지를 안정화하거나 이미지 스티칭을 수행하는 경우보다 낮은 연산량으로 영상이 처리될 수 있다.
일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에서 시간적으로 연속된 복수 개의 영상을 처리하는 방법에 있어서, 상기 방법은
    상기 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하는 단계;
    상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하는 단계;
    상기 복수 개의 영상이 연속적으로 표시될 때, 상기 식별된 오브젝트의 흔들림을 보정하기 위한, 이미지 안정화(stabilization)를 수행하는 단계; 및
    상기 이미지 안정화가 수행된 복수 개의 영상을 표시하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 오브젝트를 식별하는 단계는,
    상기 돌출값에 대한 기준값을 결정하는 단계;
    상기 기준값 이상의 돌출값을 가지는 영역을 식별하기 위한, 바이너리 마스크를 생성하는 단계; 및
    상기 바이너리 마스크를 이용하여, 상기 복수 개의 영상에서, 상기 오브젝트를 식별하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 이미지 안정화를 수행하는 단계는
    상기 복수 개의 영상에서, 상기 식별된 오브젝트에 대한 중심점을 결정하는 단계; 및
    상기 복수 개의 영상에 대하여 결정된 중심점이 서로 중첩되도록, 상기 복수 개의 영상을 정렬(align)시킴으로써, 상기 이미지 안정화를 수행하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 오브젝트에 대한 중심점은,
    상기 오브젝트에 포함된 각 픽셀에 대한 돌출값의 무게 중심으로 결정되는, 방법.
  5. 제1항에 있어서, 상기 이미지 안정화를 수행하는 단계는
    상기 복수 개의 영상에서, 상기 식별된 오브젝트를 포함하는 제1 도형을 생성하는 단계;
    상기 복수 개의 영상에 포함된 오브젝트의 중심점이 서로 중첩되도록 상기 복수 개의 영상을 정렬시키고, 상기 정렬된 복수 개의 영상에 포함된 각각의 제1 도형이 서로 중첩된 영역을 식별하는 단계;
    상기 식별된 영역을 포함하는 제2 도형을 생성하고, 상기 제2 도형이 포함하는 영역에서 움직임 예측을 수행하는 단계; 및
    상기 움직임 예측을 수행한 결과에 기초하여, 상기 복수 개의 영상을 다시 정렬함으로써, 상기 이미지 안정화를 수행하는 단계를 포함하는, 방법.
  6. 전자 장치에서 복수 개의 영상을 처리하는 방법에 있어서, 상기 방법은
    상기 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하는 단계;
    상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하는 단계;
    상기 식별된 오브젝트에 대한 왜곡이 최소화되도록, 상기 복수 개의 영상을 결합함으로써, 이미지 스티칭을 수행하는 단계; 및
    상기 이미지 스티칭이 수행된 결과에 따라 상기 복수 개의 영상이 결합된 파노라마 영상을 표시하는 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 이미지 스티칭을 수행하는 단계는
    상기 복수 개의 영상에서, 상기 식별된 오브젝트에 대한 중심점을 결정하는 단계; 및
    상기 복수 개의 영상에 대하여 결정된 중심점이 서로 중첩되도록, 상기 복수 개의 영상을 정렬시켜 결합함으로써, 상기 이미지 스티칭을 수행하는 단계를 포함하는, 방법.
  8. 전자 장치에 있어서,
    복수 개의 영상을 표시하는 디스플레이;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하고, 상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하고, 상기 복수 개의 영상이 연속적으로 표시될 때, 상기 식별된 오브젝트의 흔들림을 보정하기 위한, 이미지 안정화를 수행하고, 상기 이미지 안정화가 수행된 복수 개의 영상을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  9. 제8항에 있어서, 상기 프로세서는
    상기 돌출값에 대한 기준값을 결정하고, 상기 기준값 이상의 돌출값을 가지는 영역을 식별하는 바이너리 마스크를 생성하고, 상기 바이너리 마스크를 이용하여, 상기 복수 개의 영상에서, 상기 오브젝트를 식별하는, 전자 장치.
  10. 제8항에 있어서, 상기 프로세서는
    상기 복수 개의 영상에서, 상기 식별된 오브젝트에 대한 중심점을 결정하고, 상기 복수 개의 영상에 대하여 결정된 중심점이 서로 중첩되어 표시되도록, 상기 복수 개의 영상을 정렬시킴으로써, 상기 복수 개의 영상을 안정화하는, 전자 장치.
  11. 제8항에 있어서, 상기 오브젝트에 대한 중심점은,
    상기 오브젝트에 포함된 각 픽셀에 대한 돌출값의 무게 중심으로 결정되는, 전자 장치.
  12. 제8항에 있어서, 상기 프로세서는
    상기 복수 개의 영상에서, 상기 식별된 오브젝트를 포함하는 제1 도형을 생성하고, 상기 복수 개의 영상에 포함된 오브젝트의 중심점이 서로 중첩되도록 상기 복수 개의 영상을 정렬시키고, 상기 정렬된 복수 개의 영상에 포함된 각각의 제1 도형이 서로 중첩된 영역을 식별하고, 상기 식별된 영역을 포함하는 제2 도형을 생성하고, 상기 제2 도형이 포함하는 영역에서 움직임 예측을 수행하고, 상기 움직임 예측을 수행한 결과에 기초하여, 상기 복수 개의 영상을 다시 정렬하는, 전자 장치.
  13. 전자 장치에 있어서,
    복수 개의 영상을 표시하는 디스플레이;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하고, 상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하고, 상기 식별된 오브젝트에 대한 왜곡이 최소화되도록, 상기 복수 개의 영상을 결합함으로써, 이미지 스티칭을 수행하고, 상기 이미지 스티칭이 수행된 결과에 따라 상기 복수 개의 영상이 결합된 파노라마 영상을 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  14. 제13항에 있어서, 상기 프로세서는
    상기 복수 개의 영상에서, 상기 식별된 오브젝트에 대한 중심점을 결정하고, 상기 복수 개의 영상에 대하여 결정된 중심점이 서로 중첩되도록, 상기 복수 개의 영상을 정렬시켜 결합함으로써, 상기 이미지 스티칭을 수행하는, 전자 장치.
  15. 복수 개의 영상에서, 각 픽셀에 대해 돌출된 정도를 나타내는 돌출값을 획득하는 동작;
    상기 각 픽셀에 대한 돌출값에 기초하여, 상기 복수 개의 영상에 공통으로 포함된 오브젝트를 식별하는 동작;
    상기 복수 개의 영상이 연속적으로 표시될 때, 상기 식별된 오브젝트의 흔들림을 보정하기 위한, 이미지 안정화(stabilization)를 수행하는 동작; 및
    상기 이미지 안정화가 수행된 복수 개의 영상을 표시하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품.
PCT/KR2018/009572 2018-05-25 2018-08-21 복수 개의 영상을 처리하는 방법 및 전자 장치 WO2019225808A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0059584 2018-05-25
KR1020180059584A KR20190134217A (ko) 2018-05-25 2018-05-25 복수 개의 영상을 처리하는 방법 및 전자 장치

Publications (1)

Publication Number Publication Date
WO2019225808A1 true WO2019225808A1 (ko) 2019-11-28

Family

ID=68616409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/009572 WO2019225808A1 (ko) 2018-05-25 2018-08-21 복수 개의 영상을 처리하는 방법 및 전자 장치

Country Status (2)

Country Link
KR (1) KR20190134217A (ko)
WO (1) WO2019225808A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110128529A (ko) * 2010-05-24 2011-11-30 중앙대학교 산학협력단 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
KR20180015961A (ko) * 2016-08-04 2018-02-14 영남대학교 산학협력단 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
KR20180016187A (ko) * 2016-08-05 2018-02-14 한국전자통신연구원 복수의 카메라들을 정렬하기 위한 카메라 영상 분석 방법 및 영상 분석 표시 장치
KR20180028962A (ko) * 2016-09-09 2018-03-19 광운대학교 산학협력단 영상이동검출장치 및 방법
KR20180036322A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110128529A (ko) * 2010-05-24 2011-11-30 중앙대학교 산학협력단 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
KR20180015961A (ko) * 2016-08-04 2018-02-14 영남대학교 산학협력단 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
KR20180016187A (ko) * 2016-08-05 2018-02-14 한국전자통신연구원 복수의 카메라들을 정렬하기 위한 카메라 영상 분석 방법 및 영상 분석 표시 장치
KR20180028962A (ko) * 2016-09-09 2018-03-19 광운대학교 산학협력단 영상이동검출장치 및 방법
KR20180036322A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR20190134217A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
WO2016208849A1 (ko) 디지털 촬영 장치 및 그 동작 방법
WO2020032555A1 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
WO2016209020A1 (en) Image processing apparatus and image processing method
WO2016032292A1 (en) Photographing method and electronic device
WO2017018612A1 (en) Method and electronic device for stabilizing video
WO2017191978A1 (en) Method, apparatus, and recording medium for processing image
WO2018159864A1 (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
WO2015023044A1 (en) Mobile terminal and method for controlling the same
WO2015126044A1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2020091262A1 (ko) 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2020054949A1 (en) Electronic device and method for capturing view
WO2019017641A1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2017010628A1 (en) Method and photographing apparatus for controlling function based on gesture of user
WO2017018614A1 (en) Method of imaging moving object and imaging device
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2021157954A1 (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2018074768A1 (ko) 영상 표시 방법 및 그 전자장치
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2021141287A1 (ko) 카메라 프리뷰를 제공하는 전자 장치 및 그 방법
WO2015064935A1 (en) Electronic device and control method thereof
WO2017014404A1 (en) Digital photographing apparatus and digital photographing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18919871

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18919871

Country of ref document: EP

Kind code of ref document: A1