KR101470442B1 - Wide angle image of a mobile terminal call mathod and apparatus - Google Patents

Wide angle image of a mobile terminal call mathod and apparatus Download PDF

Info

Publication number
KR101470442B1
KR101470442B1 KR20140142851A KR20140142851A KR101470442B1 KR 101470442 B1 KR101470442 B1 KR 101470442B1 KR 20140142851 A KR20140142851 A KR 20140142851A KR 20140142851 A KR20140142851 A KR 20140142851A KR 101470442 B1 KR101470442 B1 KR 101470442B1
Authority
KR
South Korea
Prior art keywords
area
mobile terminal
wide
current frame
slide
Prior art date
Application number
KR20140142851A
Other languages
Korean (ko)
Inventor
이성호
Original Assignee
주식회사 모리아타운
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모리아타운 filed Critical 주식회사 모리아타운
Priority to KR20140142851A priority Critical patent/KR101470442B1/en
Application granted granted Critical
Publication of KR101470442B1 publication Critical patent/KR101470442B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to a method and a device for a wide-angle video call in a mobile terminal. The method for a wide-angle video call in a mobile terminal having a front camera comprises the following steps: receiving multiple frames from an input video captured through the front camera in real time; detecting a person area and a background area from the current frame using a person detection algorithm; separating the person area from the background area; dividing the background area into multiple slide areas; and deleting a slide area and a person area of the current frame duplicating a person area and the slide area of the previous frame, and generating a panoramic image by matching the person areas and the slide areas of the current frame and the previous frame in order of frames using a stitching engine.

Description

모바일 단말의 광각 영상 통화 방법 및 장치{WIDE ANGLE IMAGE OF A MOBILE TERMINAL CALL MATHOD AND APPARATUS}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a wide-

본 발명은 모바일 단말의 광각 영상 통화 방법 및 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a wide-angle video communication method and apparatus of a mobile terminal.

모바일 단말은 광 시계(wide fields of view)를 갖는 광각의 사진들 또는 영상들을 촬영할 수 있는 후면 카메라를 구비할 수 있다. 또한, 모바일 단말은 후면 카메라를 이용하여 사용자에 의해 미리 촬영된 복수의 사진들을 소프트웨어적으로 합성함으로써 후면 카메라의 실제 각도보다 넓은 광각의 사진들 또는 영상들을 출력할 수 있다. 이때, 모바일 단말은 오버랩핑된 프레임을 갖는 광각사진 촬영기법을 사용자에게 제공함으로써, 사용자는 광각사진 촬영기법을 이용하여 복수의 사진들을 미리 촬영할 수 있다. 이후, 모바일 단말은 사용자에 의해 미리 촬영된 사진들을 소프트웨어적으로 캡쳐링 및 매칭 또는 오버랩핑 함으로써, 사진의 가장자리에서 중복된 프레임들을 서로 “스티칭”하여 광각의 사진들을 촬영할 수 있다. 여기에서, “스티칭”이란 중복된 프레임들을 이어 붙이는 동작을 의미한다. The mobile terminal may have a wide angle of view with wide fields of view or a back camera capable of taking images. In addition, the mobile terminal can output photographs or images having a wider angle than the actual angle of the rear face camera by synthesizing a plurality of pictures photographed by the user in advance using a rear camera. At this time, the mobile terminal provides the user with a wide-angle photographing technique having an overlapping frame, so that the user can photograph the plurality of photographs in advance using the wide-angle photographing technique. The mobile terminal can then photograph the wide angle photographs by "stitching" the overlapping frames together at the edge of the photo by capturing and matching or overlapping the photographs previously photographed by the user in advance by the user. Here, " stitching " means an operation of splicing overlapping frames.

또한, 모바일 단말은 음성 통화 기능과 더불어 전면 카메라를 이용하여 서로의 얼굴을 보며 대화를 나눌 수 있는 영상 통화가 가능하다. 이때, 전면 카메라는 사용자의 각도 및 포즈를 프리뷰 화면을 통해 볼 수 있어, 사용자가 손쉽게 촬영할 수 있다. In addition to the voice call function, the mobile terminal can make a video call that allows the user to talk to each other using a front camera. At this time, the front camera can view the angle and the pose of the user through the preview screen, so that the user can easily take an image.

그러나, 전면 카메라는 후면 카메라에 비해 화질이나 해상도가 부족하여 사용자의 만족도가 떨어지는 문제가 있을 뿐만 아니라, 하드웨어 구조상 영상 통화시 제한된 각도만을 지원하고, 광각으로 찍을 수 있는 어떠한 소프트웨어적인 대안이 없다. 예컨대, 대구에 사는 1명의 통화자와 서울에 있는 6명의 통화자들이 영상통화를 하는 경우, 동시에 6명의 통화자들을 전면 카메라의 각도에 모두 포함할 수 없는 한계를 갖는다. 또한, 파노라마 영상을 소프트웨어적으로 지원하는 종래의 카메라 장치는 입력된 영상을 인물과 배경 구분 없이 균일한 슬라이드 영역으로 분리 및 처리하기 때문에 파노라마 영상에 있어서 인물의 얼굴이나 신체가 잘리거나 2중으로 겹치는 문제가 발생할 수 있다. 따라서, 이미 사용되고 있는 모바일 단말의 전면 카메라를 이용하여 제한된 각도만을 촬영할 경우일 지라도 파노라마 영상을 지원하고, 파노라마 영상에 있어서 인물의 얼굴이나 신체가 잘리거나 2중으로 겹치는 문제를 해결할 수 있는 방법 및 장치가 요구된다.
However, there is a problem that the front camera has less image quality or resolution than the rear camera, and the user's satisfaction is lowered. In addition, the hardware structure supports only a limited angle during video communication and there is no software alternative that can take a wide angle. For example, when one caller in Daegu and six callers in Seoul are in a video call, six persons can not be included at the same angle of the front camera at the same time. In addition, since the conventional camera device supporting the panoramic image by software divides and processes the input image into a uniform slide area without distinguishing the person and the background, the face or body of the person is cut or doubled in the panoramic image May occur. Accordingly, a method and apparatus for supporting a panoramic image even when only a limited angle is photographed using a front camera of a mobile terminal that is already in use, and solving the problem that a face or body of a person is cut or doubled in a panoramic image Is required.

본 발명은 제한된 각도만을 지원하는 전면 카메라또는 기존에 이미 사용되고 있는 전면 카메라를 통해 파노라마 영상을 생성하여 여러 사람이 동시에, 영상 통화 또는 촬영을 보다 용이하게 할 수 있는 모바일 단말의 광각 영상 통화 방법 및 장치를 제공하는 것을 목적으로 한다. The present invention relates to a wide angle video communication method and apparatus for a mobile terminal capable of simultaneously generating a panorama image through a front camera supporting only a limited angle or a front camera already used, And to provide the above-mentioned objects.

또한, 본 발명은, 인물 검출 알고리즘을 이용하여 인물 영역을 그대로 검출, 삭제 및 정합함으로써, 파노라마 영상의 인물의 얼굴이나 신체가 중간에 잘리거나 2중으로 겹치는 문제를 방지할 수 있는 모바일 단말의 광각 영상 통화 방법 및 장치를 제공하는 것을 목적으로 한다. In addition, the present invention provides a mobile terminal capable of preventing a problem that a face or body of a person in a panorama image is cut off or doubly overlapped by directly detecting, deleting, and matching a person area using a person detection algorithm And a communication method and apparatus.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description and more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.

이러한 목적을 달성하기 위한 본 발명은 전면 카메라가 구비된 모바일 단말의 광각 영상 통화 방법에 있어서, 상기 전면 카메라를 통해 촬영된 입력 영상으로부터 다수의 프레임을 실시간으로 입력받는 단계, 인물 검출 알고리즘을 이용하여 현재 프레임으로부터 인물 영역과 배경 영역을 검출하는 단계, 상기 인물 영역을 상기 배경 영역으로부터 분리하는 단계, 상기 배경 영역을 다수의 슬라이드 영역으로 분할하는 단계 및 상기 이전 프레임의 인물 영역 및 슬라이드 영역과 중복되는 상기 현재 프레임의 인물 영역과 슬라이드 영역을 삭제하고, 스티칭 엔진을 이용하여 상기 이전 프레임과 상기 현재 프레임의 인물 영역과 슬라이드 영역들을 프레임 순서대로 정합하여 파노라마 영상을 생성하는 단계를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a method for wide-angle video communication of a mobile terminal having a front camera, the method comprising: receiving a plurality of frames in real time from an input image captured through the front camera; Comprising the steps of: detecting a person area and a background area from a current frame; separating the person area from the background area; dividing the background area into a plurality of slide areas; And deleting the character region and the slide region of the current frame and generating a panorama image by matching the character region and the slide regions of the previous frame and the current frame in frame order using a stitching engine .

또한, 본 발명은 전면 카메라가 구비된 모바일 단말의 광각 영상 통화 장치에 있어서, 상기 전면 카메라를 통해 촬영된 입력 영상으로부터 다수의 프레임을 실시간으로 입력받는 입력부, 인물 검출 알고리즘을 이용하여 현재 프레임으로부터 인물 영역과 배경 영역을 검출하는 검출부, 상기 인물 영역을 상기 배경 영역으로부터 분리하고, 상기 배경 영역을 다수의 슬라이드 영역으로 분할하는 분할부 및 상기 이전 프레임의 인물 영역 및 슬라이드 영역과 중복되는 상기 현재 프레임의 인물 영역과 슬라이드 영역을 삭제하고, 스티칭 엔진을 이용하여 상기 이전 프레임과 상기 현재 프레임의 인물 영역과 슬라이드 영역들을 프레임 순서대로 정합하여 파노라마 영상을 생성하는 스티칭 엔진부를 포함하는 것을 특징으로 한다.
In addition, the present invention provides a wide-angle video communication apparatus for a mobile terminal having a front camera, the apparatus comprising: an input unit for inputting a plurality of frames in real time from an input image captured through the front camera; A division unit for dividing the background region from the background region and dividing the background region into a plurality of slide regions and a division unit for dividing the character region of the previous frame and the current frame, And a stitching engine unit for deleting the character area and the slide area and for creating a panorama image by matching the character area and the slide areas of the previous frame and the current frame in frame order using a stitching engine.

전술한 바와 같은 본 발명에 의하면, 제한된 각도만을 지원하는 전면 카메라또는 기존에 이미 사용되고 있는 전면 카메라를 통해 파노라마 영상을 생성하여 여러 사람이 동시에, 영상 통화 또는 촬영을 보다 용이하게 할 수 있는 장점이 있다. According to the present invention as described above, there is an advantage that a panorama image can be generated through a front camera that supports only a limited angle or a front camera that has already been used so that multiple people can simultaneously make a video call or shooting .

또한, 본 발명에 의하면, 인물 검출 알고리즘을 이용하여 인물 영역을 그대로 검출, 삭제 및 정합함으로써, 파노라마 영상에 있어서 인물의 얼굴이나 신체가 중간에 잘리거나 2중으로 겹치는 문제를 방지할 수 있는 효과가 있다. Further, according to the present invention, there is an effect that it is possible to prevent the problem that the face or body of a person is cut or doubled in the middle in the panoramic image by directly detecting, deleting, and matching the person area using the person detection algorithm .

도 1은 본 발명의 실시 예에 따른 광각 영상 통화 시스템의 구성도이다.
도 2는 광각 영상 통화 장치로부터 제공되는 광각 촬영 방법을 나타내는 도이다.
도 3은 본 발명의 실시 예에 따른 광각 영상 통화 장치의 구성도이다.
도 4는 광각 영상 통화 장치의 파노라마 영상 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 파노라마 영상을 생성하기 위한 광각 영상 통화 장치의 동작 순서도이다. 1 is a configuration diagram of a wide-angle video call system according to an embodiment of the present invention.
2 is a diagram illustrating a wide-angle photographing method provided from a wide-angle video communication apparatus.
3 is a configuration diagram of a wide-angle video communication apparatus according to an embodiment of the present invention.
4 is a diagram for explaining a panoramic image generation process of the wide-angle video communication apparatus.
5 is an operational flowchart of a wide-angle video communication apparatus for generating a panoramic image according to an embodiment of the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above and other objects, features, and advantages of the present invention will become more apparent by describing in detail exemplary embodiments thereof with reference to the attached drawings, which are not intended to limit the scope of the present invention. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to denote the same or similar elements.

도 1은 본 발명의 실시 예에 따른 광각 영상 통화 시스템의 구성도이다.1 is a configuration diagram of a wide-angle video call system according to an embodiment of the present invention.

도 1을 참조하면, 광각 영상 통화 시스템(1000)은 전면 카메라(10), 광각 영상 통화 장치(100), 및 디스플레이부(200)를 포함한다. 본 발명의 실시 예에 따른 광각 영상 통화 시스템(1000)은 영상 통화 시 전면 카메라(10)에서 실시간으로 촬영된 영상을 입력받아 파노라마 영상을 생성하고 디스플레이부(200)를 통해 파노라마 영상을 디스플레이할 수 있다. 여기서, 파노라마 영상이란, 전면 카메라(10)에서 지원되는 촬영 각도보다 넓은 광각의 영상을 의미할 수 있다. 1, the wide-angle video communication system 1000 includes a front-face camera 10, a wide-angle video communication apparatus 100, and a display unit 200. The wide-angle video call system 1000 according to an embodiment of the present invention receives a video captured in real time from the front camera 10 during a video call and generates a panoramic image and displays the panoramic image through the display unit 200 have. Here, the panoramic image may mean a wide angle image that is wider than the imaging angle supported by the front camera 10.

또한, 광각 영상 통화 시스템(1000)은 전면 카메라(10)와 디스플레이부(200)가 구비되어 영상 통화를 수행할 수 있는 모바일 단말(1000)일 수 있다. 예컨대, 모바일 단말(1000)은 노트북, 이동통신 단말, 스마트폰(Smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant), 태블릿 PC(Tablet PC), 셋탑박스(Set-top box), 스마트 TV 등 다양한 장치가 될 수 있다. The wide-angle video call system 1000 may be a mobile terminal 1000 having a front camera 10 and a display unit 200 and capable of performing a video call. For example, the mobile terminal 1000 may be a notebook, a mobile communication terminal, a smart phone, a portable media player (PMP), a personal digital assistant (PDA), a tablet PC, a set- , Smart TV, and the like.

여기에서, 전면 카메라(10)는 모바일 단말(1000)의 전면에 배치되어 제조시 미리 결정된 각도로 사용자 측을 촬영하고, 촬영된 영상을 광각 영상 통화 장치(100)에 전송할 수 있다. 즉, 사용자는 전면 카메라(10)를 통하여 촬영된 자신의 영상에 기초하여 다른 사용자와 영상 통화를 진행할 수 있다. Here, the front camera 10 is disposed on the front surface of the mobile terminal 1000, and can photograph the user side at a predetermined angle during manufacture and transmit the photographed image to the wide-angle video call apparatus 100. [ That is, the user can proceed with a video call with another user based on his or her own image photographed through the front camera 10.

그리고, 광각 영상 통화 장치(100)는 파노라마 영상을 생성하기 위하여 제한된 촬영 각도만을 지원하는 전면 카메라(10)를 이용하는 광각 촬영 방법을 사용자에게 디스플레이부(200)를 통해 미리 제공할 수 있다. The wide-angle video communication apparatus 100 may provide a wide angle photographing method using a front camera 10 that supports only a limited photographing angle to the user through the display unit 200 in order to generate a panoramic image.

이하, 도 2에서는 사용자에게 제공되는 광각 촬영 방법을 설명한다. Hereinafter, the wide angle photographing method provided to the user will be described with reference to FIG.

도 2는 광각 영상 통화 장치로부터 제공되는 광각 촬영 방법을 나타내는 도이다. 2 is a diagram illustrating a wide-angle photographing method provided from a wide-angle video communication apparatus.

도 1과 도 2를 참조하면, 본 발명의 실시 예에 따라 사용자가 모바일 단말(1000)을 들고 사용자의 정면을 기준으로 스캔을 하듯이 좌우로 반복적으로 전면 카메라(10)를 회전시켜 촬영할 수 있도록, 광각 영상 통화 장치(100)는 광각 촬영 방법을 디스플레이부(200)를 통해 제공할 수 있다. 다른 실시 예에 따라 사용자가 모바일 단말(1000)을 들고 사용자의 정면을 기준으로 좌에서 우로 전면 카메라(10)를 이동시켜 촬영할 수 있도록, 광각 영상 통화 장치(100)는 광각 촬영 방법을 디스플레이부(200)를 통해 제공할 수 있다. 또 다른 실시 예에 따라 사용자가 모바일 단말(1000)을 들고 사용자의 정면을 기준으로 좌우로 전면 카메라(10)를 이동시켜 촬영할 수 있도록 광각 영상 통화 장치(100)는 광각 촬영 방법을 디스플레이부(200)를 통해 제공할 수 있다. 즉, 광각 영상 통화 장치(100)는 다양한 광각 촬영 방법을 디스플레이부(200)를 통해 제공할 수 있다. Referring to FIGS. 1 and 2, according to an exemplary embodiment of the present invention, a user can pick up a mobile terminal 1000 and scan the front camera 10 repeatedly , The wide-angle video communication apparatus 100 can provide the wide-angle photographing method through the display unit 200. The wide-angle video communication apparatus 100 may display the wide-angle imaging method on a display unit (not shown) so that the user can pick up the front camera 10 by moving the front camera 10 from the left to the right, 200). The wide-angle video communication apparatus 100 may display the wide angle photographing method on the display unit 200 (step < RTI ID = 0.0 > 200) < / RTI > so that the user can pick up the front camera 10 by moving the front- ). ≪ / RTI > That is, the wide-angle video communication apparatus 100 can provide various wide-angle shooting methods through the display unit 200.

다시 도 1을 참조하면, 광각 영상 통화 장치(100)는 도 2에 도시된 광각 촬영 방법으로 촬영된 입력 영상을 입력받을 수 있다. 이때, 입력 영상은 사용자가 모바일 단말(1000)을 사용자의 정면을 기준으로 좌우로 반복적으로 회전시켜 촬영되는 영상일 수 있다. 이에 따라, 광각 영상 통화 장치(100)는 전면 카메라(10)를 통해 촬영된 입력 영상을 입력받아 파노라마 영상을 생성할 수 있다. Referring again to FIG. 1, the wide-angle video communication apparatus 100 can receive an input image photographed by the wide-angle shooting method shown in FIG. At this time, the input image may be an image that is captured by the user rotating the mobile terminal 1000 repeatedly from left to right with respect to the front of the user. Accordingly, the wide-angle video communication apparatus 100 can receive the input image captured through the front camera 10 and generate a panoramic image.

그리고, 디스플레이부(200)는 사용자에게 광각 촬영 방법을 디스플레이할 수 있고, 광각 영상 통화 장치(100)로부터 생성된 파노라마 영상을 디스플레이할 수 있다. The display unit 200 may display the wide angle photographing method to the user and may display the panorama image generated from the wide angle video communication device 100. [

이하에서는 본 발명의 광각 영상 통화 장치(100)가 전면 카메라(10)를 통해 촬영된 입력 영상을 입력받아 파노라마 영상을 생성되는 과정을 보다 구체적으로 설명한다. Hereinafter, a process of generating the panoramic image by receiving the input image photographed by the wide-angle video communication apparatus 100 through the front camera 10 will be described in detail.

도 3은 본 발명의 실시 예에 따른 광각 영상 통화 장치의 구성도이고, 도 4는 광각 영상 통화 장치의 파노라마 영상 생성 과정을 설명하기 위한 도면이다. FIG. 3 is a configuration diagram of a wide-angle video communication apparatus according to an embodiment of the present invention, and FIG. 4 is a diagram for explaining a panorama image generation process of the wide-angle video communication apparatus.

도 3과 도 4를 참조하면, 광각 영상 통화 장치(100)는 입력부(30), 검출부(40), 분할부(50) 및 스티칭 엔진부(60)를 포함한다.3 and 4, the wide-angle video communication apparatus 100 includes an input unit 30, a detection unit 40, a dividing unit 50, and a stitching engine unit 60.

입력부(30)는 도 2에 도시된 광각 촬영 방법에 따라 사용자의 정면을 기준으로 스캔을 하듯이 좌우로 반복적으로 전면 카메라(10)를 회전시켜 촬영된 입력 영상으로부터 다수의 프레임을 실시간으로 입력받을 수 있다. 이때, 입력 영상은 순차적으로 촬영된 다수의 프레임일 수 있다. 이러한, 다수의 프레임은 이전 프레임(31), 현재 프레임(32), 이후 프레임(33) 및 다음 프레임들(3N)과 같이 순차적으로 표현될 수 있다. 2, the input unit 30 repeatedly rotates the front camera 10 to the left and right as if scanning based on the user's front face, and receives a plurality of frames in real time from the photographed input image . At this time, the input image may be a plurality of frames sequentially captured. Such a plurality of frames may be sequentially represented as the previous frame 31, the current frame 32, the subsequent frame 33, and the following frames 3N.

이렇게, 입력부(30)는 입력 영상으로부터 순차적으로 이전 프레임(31), 현재 프레임(32), 이후 프레임(33)을 입력받을 수 있다. 또한, 입력부(30)는 도 4의 이전 프레임(31), 현재 프레임(32) 및 이후 프레임(33)이 서로 겹치는 영역을 갖는 다수의 프레임(31~3N)을 입력받을 수 있다. 본 발명에서 명확한 설명을 위하여 다수의 프레임을 3개의 연속된 프레임으로 가정하여 설명한다. In this way, the input unit 30 can sequentially receive the previous frame 31, the current frame 32, and then the frame 33 from the input image. The input unit 30 can receive a plurality of frames 31 to 3N having an area where the previous frame 31, the current frame 32 and the subsequent frame 33 of FIG. 4 overlap each other. For clarity in the present invention, it is assumed that a plurality of frames are three consecutive frames.

다음으로, 검출부(40)는 입력부(30)로부터 실시간으로 입력된 다수의 프레임 중 인물 검출 알고리즘을 이용하여 현재 프레임(32)으로부터 인물 영역(32-1)과 배경 영역(32-2)을 검출할 수 있다. 이때, 인물 검출 알고리즘은 현재 프레임(32) 내에서 인물의 얼굴 및 신체를 검출하고, 검출된 얼굴 및 신체의 크기에 대응하는 인물 영역(32-1)을 검출할 수 있다. 예컨대, 인물 검출 알고리즘에는 Haar-like feature 알고리즘이 사용된다. 즉, 인물 검출 알고리즘은 도 4에 도시된 바와 같이, 3개의 인물 영역(32-1)을 검출하고, 2개의 배경 영역(32-2)을 검출할 수 있다. 또한, 인물 검출 알고리즘은 현재 프레임(32)으로부터 검출된 인물 영역(32-1) 이외의 영역을 배경 영역(32-2)으로 검출할 수 있다. Next, the detection unit 40 detects the character area 32-1 and the background area 32-2 from the current frame 32 by using the character detection algorithm among a plurality of frames input in real time from the input unit 30 can do. At this time, the person detection algorithm can detect the face and the body of the person in the current frame 32, and can detect the person area 32-1 corresponding to the detected face and the size of the body. For example, the Haar-like feature algorithm is used for the person detection algorithm. That is, the person detection algorithm can detect three character areas 32-1 and two background areas 32-2 as shown in FIG. In addition, the person detection algorithm can detect an area other than the person area 32-1 detected from the current frame 32 as the background area 32-2.

보다 구체적으로, 검출부(40)는 현재 프레임(32)으로부터 인물 영역(32-1)과 배경 영역(32-2)을 검출한 이후, 순차적으로 이후 프레임(33)과 다음 프레임들(3N)로부터 인물 영역들(33-1~3N-1)과 배경 영역들(33-2~3N-2)을 순차적으로 검출할 수 있다. More specifically, after detecting the person area 32-1 and the background area 32-2 from the current frame 32, the detecting unit 40 sequentially detects the next frame 33 and the next frame 3N It is possible to sequentially detect the character areas 33-1 to 3N-1 and the background areas 33-2 to 3N-2.

이때, 분할부(50)는 검출부(40)로부터 검출된 현재 프레임(32)의 인물 영역(32-1)을 배경 영역(32-2)으로부터 그대로 분리하고, 배경 영역(32-2)을 도 4의 도시된 다수의 슬라이드 영역(32-2)으로 분할할 수 있다. 예컨대, 분할부(50)는 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker) 등의 영상 분할 알고리즘을 이용하여 현재 프레임(32)의 인물 영역(32-1)을 배경 영역(32-2)으로부터 그대로 분리하고, 배경 영역(32-2)을 도 4의 도시된 다수의 슬라이드 영역(32-2)으로 분할할 수 있다. 여기서, 다수의 슬라이드 영역(32-2)은 모두 균등한 크기의 영역들일 수 있다. 즉, 다수의 슬라이드 영역(32-2)은 배경 영역(32-2)의 분할된 영역을 의미할 수 있다. At this time, the division unit 50 separates the person area 32-1 of the current frame 32 detected by the detection unit 40 from the background area 32-2 as it is, separates the background area 32-2 from the background area 32-2 4 as shown in Fig. For example, the division unit 50 divides the character region 32-1 of the current frame 32 using an image segmentation algorithm such as a GrowCut algorithm, a GraphCut algorithm, or a Random Walker, The background area 32-2 can be separated from the background area 32-2 as it is and the background area 32-2 can be divided into the plurality of slide areas 32-2 shown in Fig. Here, the plurality of slide regions 32-2 may all be regions of uniform size. That is, the plurality of slide areas 32-2 may mean a divided area of the background area 32-2.

또한, 분할부(50)는 순차적으로 검출부(40)로부터 검출된 다음 프레임들(3N)에 대하여 인물 영역(3N-1)을 배경 영역(3N-2)으로부터 그대로 분리하고, 배경 영역(3N-2)을 다수의 슬라이드 영역(3N-2)으로 분할할 수 있다. The division unit 50 sequentially separates the character area 3N-1 from the background area 3N-2 with respect to the subsequent frames 3N detected by the detection unit 40 and separates the background area 3N- 2 can be divided into a plurality of slide regions 3N-2.

이후, 스티칭 엔진부(60)는 이전 프레임(31)의 인물 영역(31-1)과 다수의 슬라이드 영역(31-2)으로부터 겹치는 인물 영역(32-1)과 다수의 슬라이드 영역(32-2)을 삭제하고, 스티칭 엔진을 이용하여 삭제되지 않은 인물 영역들(31-1~3N-1)과 다수의 슬라이드 영역들(31-2~3N-2)을 프레임 순서대로 정합하여 파노라마 영상을 생성할 수 있다. Thereafter, the stitching engine unit 60 moves the character area 31-1 of the previous frame 31 to the character area 32-1 overlapping from the plurality of slide areas 31-2 and the plurality of slide areas 32-2 And the panorama image is generated by matching the non-deleted character areas 31-1 to 3N-1 and the plurality of slide areas 31-2 to 3N-2 in frame order using the stitching engine can do.

즉, 스티칭 엔진부(60)는 분할부(50)로부터 분할된 현재 프레임(32)의 겹치는 인물 영역(32-1)과 다수의 슬라이드 영역(32-2)을 용이하게 삭제할 수 있다. 보다 구체적으로, 스티칭 엔진부(60)는 순차적으로 분할부(50)로부터 분할되고 삭제된 현재 프레임(32)의 인물 영역(32-1)과 다수의 슬라이드 영역(32-2)으로부터 겹치는 이후 프레임(33)의 인물 영역(33-1)과 다수의 슬라이드 영역(33-2)을 삭제하고, 분할부(50)로부터 분할되고 삭제된 이후 프레임(33)으로부터 겹치는 다음 프레임들(3N)의 인물 영역(3N-1)과 다수의 슬라이드 영역(3N-2)을 순차적으로 삭제할 수 있다. That is, the stitching engine unit 60 can easily delete the overlapping character area 32-1 and the plurality of slide areas 32-2 of the current frame 32 divided from the divided part 50. [ More specifically, the stitching engine unit 60 sequentially overlaps the person area 32-1 of the current frame 32 divided from the divided part 50 and the plurality of slide areas 32-2, The character area 33-1 of the frame 33 and the plurality of slide areas 33-2 are deleted and the characters of the next frames 3N overlapping from the frame 33 after being divided and deleted from the division 50 The area 3N-1 and the plurality of slide areas 3N-2 can be sequentially deleted.

본 발명의 실시 예에 따라, 스티칭 엔진부(60)는 이전 프레임(31)의 인물 영역(31-1)과 다수의 슬라이드 영역(31-2)으로부터 겹치는 현재 프레임(32)의 인물 영역(32-1)의 부분을 그대로 제거할 수 있으므로, 인물 영역(32-1)이 잘리거나 2중으로 겹치는 문제를 방지할 수 있는 효과가 있다. According to the embodiment of the present invention, the stitching engine unit 60 includes a character area 31-1 of the previous frame 31 and a character area 32 of the current frame 32 overlapping from the plurality of slide areas 31-2 -1) can be removed as it is, so that it is possible to prevent the problem that the character area 32-1 is cut off or doubly overlapped.

또한, 스티칭 엔진부(60)는 스티칭 엔진을 이용하여 삭제되지 않은 다수의 프레임들(31~3N)의 인물 영역들(31-1~3N-1)과 다수의 슬라이드 영역들(31-2~3N-2)을 프레임 순서대로 정합하여 파노라마 영상을 생성할 수 있다. The stitching engine unit 60 may also use the stitching engine to set the character areas 31-1 to 3N-1 of the plurality of frames 31 to 3N and the plurality of slide areas 31-2 to 31- 3N-2) may be matched in frame order to generate a panoramic image.

다른 실시 예에 따라, 스티칭 엔진부(60)는 생성된 파노라마 영상의 크기가 디스플레이부(200)의 해상도보다 큰 경우에 생성된 파노라마 영상을 일정 비율의 크기로 조절할 수 있다. 예컨대, 파노라마 영상이 3500*720이고, 디스플레이부(200)의 해상도 예컨대, 1280*720인 경우, 스티칭 엔진부(60)는 파노라마 영상의 크기를 3500*720에서 1280*263으로 조절할 수 있다. According to another embodiment, the stitching engine unit 60 may adjust the generated panorama image to a certain size when the size of the generated panorama image is larger than the resolution of the display unit 200. [ For example, when the panorama image is 3500 * 720 and the resolution of the display unit 200 is 1280 * 720, for example, the stitching engine unit 60 can adjust the size of the panorama image from 3500 * 720 to 1280 * 263.

도 5는 본 발명의 실시 예에 따른 파노라마 영상을 생성하기 위한 광각 영상 통화 장치의 동작 순서도이다. 5 is an operational flowchart of a wide-angle video communication apparatus for generating a panoramic image according to an embodiment of the present invention.

사용자가 디스플레이부(200)를 통해 제공된 광각 촬영 방법에 따라 사용자의 정면을 기준으로 스캔을 하듯이 좌우로 반복적으로 전면 카메라(10)를 회전시켜 촬영한다(S100). 입력부(30)는 촬영된 입력 영상으로부터 다수의 프레임을 실시간으로 입력받는다(S110). 다음으로, 검출부(40)는 인물 검출 알고리즘을 이용하여 입력부(30)로부터 실시간으로 입력받은 다수의 프레임들 중 현재 프레임(32)으로부터 인물 영역(32-1)과 배경 영역(32-2)을 검출한다(S120). 이때, 분할부(50)는 검출부(40)로부터 검출된 인물 영역(32-1)을 배경 영역(32-2)으로부터 분리하고, 배경 영역(32-2)을 다수의 슬라이드 영역으로 분할한다(S130). 이후, 스티칭 엔진부(60)는 이전 프레임(31)의 인물 영역(31-1) 및 슬라이드 영역(31-2)과 중복되는 현재 프레임(32)의 인물 영역(32-1)과 슬라이드 영역(32-2)을 삭제하고(S140), 스티칭 엔진을 이용하여 다수의 프레임들(31~3N)의 인물 영역들(31-1~3N-1)과 슬라이드 영역들(31-2~3N-2)을 프레임 순서대로 정합하여 파노라마 영상을 생성할 수 있다(S150). In step S100, the user rotates the front camera 10 repeatedly to the left and right in a similar manner as the user scans based on the front face of the user according to the wide angle photographing method provided through the display unit 200. The input unit 30 receives a plurality of frames from the photographed input image in real time (S110). Next, the detection unit 40 detects the character area 32-1 and the background area 32-2 from the current frame 32 among the plurality of frames input in real time from the input unit 30 using the character detection algorithm (S120). At this time, the division unit 50 separates the person area 32-1 detected from the detection unit 40 from the background area 32-2, and divides the background area 32-2 into a plurality of slide areas ( S130). The stitching engine unit 60 then moves the character area 32-1 and the slide area 31-2 of the current frame 32 overlapping with the character area 31-1 and the slide area 31-2 of the previous frame 31 (S140), the character areas 31-1 to 3N-1 of the plurality of frames 31 to 3N and the slide areas 31-2 to 3N-2 ) Are matched in frame order to generate a panorama image (S150).

전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, But the present invention is not limited thereto.

10: 전면 카메라
30: 입력부
31, 32, 33, 3N: 프레임
31-1, 32-1, 33-1, 3N-1: 인물 영역
31-2, 32-2, 33-2, 3N-2: 배경 영역 또는 슬라이드 영역
40: 검출부
50: 분할부
60: 스티칭 엔진부
100: 광각 영상 통화 장치
200: 디스플레이부
1000: 모바일 단말 또는 광각 영상 통화 시스템10: Front camera
30: Input unit
31, 32, 33, 3N: frame
31-1, 32-1, 33-1, 3N-1:
31-2, 32-2, 33-2, 3N-2: background area or slide area
40:
50: minutes installment
60: stitching engine section
100: Wide-angle video call device
200:
1000: Mobile terminal or wide angle video call system

Claims (10)

전면 카메라가 구비된 모바일 단말의 광각 영상 통화 방법에 있어서,
상기 전면 카메라를 통해 촬영된 입력 영상으로부터 다수의 프레임을 실시간으로 입력받는 단계;
인물 검출 알고리즘을 이용하여 현재 프레임으로부터 인물 영역과 배경 영역을 검출하는 단계;
상기 인물 영역을 상기 배경 영역으로부터 분리하는 단계;
상기 배경 영역을 다수의 슬라이드 영역으로 분할하는 단계; 및
이전 프레임의 인물 영역 및 슬라이드 영역과 중복되는 상기 현재 프레임의 인물 영역과 슬라이드 영역을 삭제하고, 스티칭 엔진을 이용하여 상기 이전 프레임과 상기 현재 프레임의 인물 영역들과 슬라이드 영역들을 프레임 순서대로 정합하여 파노라마 영상을 생성하는 단계
를 포함하는 모바일 단말의 광각 영상 통화 방법.
A wide-angle video communication method of a mobile terminal having a front camera,
Receiving a plurality of frames in real time from an input image captured through the front camera;
Detecting a character area and a background area from a current frame using a character detection algorithm;
Separating the person area from the background area;
Dividing the background area into a plurality of slide areas; And
The character area and the slide area of the current frame overlapping with the character area and the slide area of the previous frame are deleted and the character areas and the slide areas of the previous frame and the current frame are matched in frame order using the stitching engine, A step of generating an image
The method comprising the steps of:
제1항에 있어서, 상기 입력 영상은,
사용자가 상기 모바일 단말을 상기 사용자의 정면을 기준으로 좌우로 반복적으로 회전시켜 촬영되는 영상인
모바일 단말의 광각 영상 통화 방법.
The method of claim 1,
The user repeatedly rotates the mobile terminal from left to right with respect to the front of the user,
A wide angle video call method of a mobile terminal.
제1항에 있어서, 상기 인물 검출 알고리즘은,
상기 현재 프레임 내에서 인물의 얼굴 및 신체를 검출하고, 검출된 상기 얼굴 및 상기 신체의 크기에 대응하는 상기 인물 영역을 검출하는
모바일 단말의 광각 영상 통화 방법.
2. The method of claim 1,
Detecting a face and a body of the person in the current frame, and detecting the person area corresponding to the detected face and the size of the body
A wide angle video call method of a mobile terminal.
제1항에 있어서, 상기 인물 검출 알고리즘은,
상기 현재 프레임으로부터 검출된 상기 인물 영역 이외의 영역을 상기 배경 영역으로 검출하는
모바일 단말의 광각 영상 통화 방법.
2. The method of claim 1,
And detecting an area other than the character area detected from the current frame as the background area
A wide angle video call method of a mobile terminal.
제1항에 있어서,
상기 모바일 단말에 디스플레이하기 위하여 상기 파노라마 영상을 일정 비율의 크기로 조절하는 단계
를 더 포함하는 모바일 단말의 광각 영상 통화 방법.
The method according to claim 1,
Adjusting the size of the panorama image to a predetermined ratio to display on the mobile terminal
The method comprising the steps of:
전면 카메라가 구비된 모바일 단말의 광각 영상 통화 장치에 있어서,
상기 전면 카메라를 통해 촬영된 입력 영상으로부터 다수의 프레임을 실시간으로 입력받는 입력부;
인물 검출 알고리즘을 이용하여 현재 프레임으로부터 인물 영역과 배경 영역을 검출하는 검출부;
상기 인물 영역을 상기 배경 영역으로부터 분리하고, 상기 배경 영역을 다수의 슬라이드 영역으로 분할하는 분할부; 및
이전 프레임의 인물 영역 및 슬라이드 영역과 중복되는 상기 현재 프레임의 인물 영역과 슬라이드 영역을 삭제하고, 스티칭 엔진을 이용하여 상기 이전 프레임과 상기 현재 프레임의 인물 영역들과 슬라이드 영역들을 프레임 순서대로 정합하여 파노라마 영상을 생성하는 스티칭 엔진부
를 포함하는 모바일 단말의 광각 영상 통화 장치.
1. A wide-angle video communication apparatus for a mobile terminal having a front camera,
An input unit for inputting a plurality of frames in real time from an input image captured through the front camera;
A detecting unit detecting a character area and a background area from a current frame using a character detection algorithm;
A dividing unit dividing the person area from the background area and dividing the background area into a plurality of slide areas; And
The character area and the slide area of the current frame overlapping with the character area and the slide area of the previous frame are deleted and the character areas and the slide areas of the previous frame and the current frame are matched in frame order using the stitching engine, A stitching engine unit
And a communication unit for communicating with the mobile terminal.
제6항에 있어서, 상기 입력 영상은,
사용자가 상기 모바일 단말을 상기 사용자의 정면을 기준으로 좌우로 반복적으로 회전시켜 촬영되는 영상인
모바일 단말의 광각 영상 통화 장치.
7. The method of claim 6,
The user repeatedly rotates the mobile terminal from left to right with respect to the front of the user,
Wide - angle video communication device of mobile terminal.
제6항에 있어서, 상기 인물 검출 알고리즘은,
상기 현재 프레임으로부터 인물의 얼굴 및 신체를 검출하고, 검출된 상기 얼굴 및 상기 신체의 크기에 대응하는 상기 인물 영역을 검출하는
모바일 단말의 광각 영상 통화 장치.
7. The method of claim 6,
Detecting a face and a body of the person from the current frame, and detecting the person area corresponding to the detected face and the size of the body
Wide - angle video communication device of mobile terminal.
제6항에 있어서, 상기 인물 검출 알고리즘은,
상기 현재 프레임으로부터 검출된 상기 인물 영역 이외의 영역을 상기 배경 영역으로 검출하는
모바일 단말의 광각 영상 통화 장치.
7. The method of claim 6,
And detecting an area other than the character area detected from the current frame as the background area
Wide - angle video communication device of mobile terminal.
제6항에 있어서, 상기 스티칭 엔진부는,
상기 모바일 단말에 디스플레이하기 위하여 상기 파노라마 영상을 일정 비율의 크기로 조절하는
모바일 단말의 광각 영상 통화 장치.


7. The stitching machine according to claim 6,
And adjusting the panorama image to a predetermined ratio to display the panorama image on the mobile terminal
Wide - angle video communication device of mobile terminal.


KR20140142851A 2014-10-21 2014-10-21 Wide angle image of a mobile terminal call mathod and apparatus KR101470442B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140142851A KR101470442B1 (en) 2014-10-21 2014-10-21 Wide angle image of a mobile terminal call mathod and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140142851A KR101470442B1 (en) 2014-10-21 2014-10-21 Wide angle image of a mobile terminal call mathod and apparatus

Publications (1)

Publication Number Publication Date
KR101470442B1 true KR101470442B1 (en) 2014-12-08

Family

ID=52678140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140142851A KR101470442B1 (en) 2014-10-21 2014-10-21 Wide angle image of a mobile terminal call mathod and apparatus

Country Status (1)

Country Link
KR (1) KR101470442B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989738A (en) * 2018-07-06 2018-12-11 深圳市嘀哒知经科技有限责任公司 A kind of multi-user's method for processing video frequency
CN112954252A (en) * 2021-02-08 2021-06-11 维沃移动通信（杭州）有限公司 Video call method and device
WO2021128537A1 (en) * 2019-12-26 2021-07-01 网易（杭州）网络有限公司 Entry information processing method, terminal device, and computer-readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034838A (en) * 2008-07-29 2010-02-12 Nikon Corp Electronic camera
KR20100102252A (en) * 2009-03-11 2010-09-24 엘지전자 주식회사 Mobile terminal and method for inputting instructions thereto
JP2011130328A (en) * 2009-12-21 2011-06-30 Sony Corp Image processing apparatus, method and program
KR20130035207A (en) * 2011-09-29 2013-04-08 가시오게산키 가부시키가이샤 Image processing device, image processing metho and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010034838A (en) * 2008-07-29 2010-02-12 Nikon Corp Electronic camera
KR20100102252A (en) * 2009-03-11 2010-09-24 엘지전자 주식회사 Mobile terminal and method for inputting instructions thereto
JP2011130328A (en) * 2009-12-21 2011-06-30 Sony Corp Image processing apparatus, method and program
KR20130035207A (en) * 2011-09-29 2013-04-08 가시오게산키 가부시키가이샤 Image processing device, image processing metho and recording medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989738A (en) * 2018-07-06 2018-12-11 深圳市嘀哒知经科技有限责任公司 A kind of multi-user's method for processing video frequency
WO2021128537A1 (en) * 2019-12-26 2021-07-01 网易（杭州）网络有限公司 Entry information processing method, terminal device, and computer-readable storage medium
US11941242B2 (en) 2019-12-26 2024-03-26 Netease (Hangzhou) Network Co., Ltd. Entry information processing method, terminal device, and computer-readable storage medium
CN112954252A (en) * 2021-02-08 2021-06-11 维沃移动通信（杭州）有限公司 Video call method and device

Similar Documents

Publication Publication Date Title
CN102055834B (en) Double-camera photographing method of mobile terminal
US11368632B2 (en) Method and apparatus for processing video, and storage medium
JP5222939B2 (en) Simulate shallow depth of field to maximize privacy in videophones
US8872887B2 (en) Object detection and rendering for wide field of view (WFOV) image acquisition systems
EP3582187A1 (en) Face image processing method and apparatus
US20060120712A1 (en) Method and apparatus for processing image
KR101817657B1 (en) Digital photographing apparatus splay apparatus and control method thereof
KR20130112574A (en) Apparatus and method for improving quality of enlarged image
CN105049569A (en) Panoramic photo composition method based on front and back cameras of cellphone
US8509518B2 (en) Real-time image collage method and apparatus
WO2012019517A1 (en) Method, device and system for processing video in video communication
JP2009194644A (en) Image processor, image processing method and image pick-up device
KR20120012201A (en) Method for photographing panorama picture
KR101470442B1 (en) Wide angle image of a mobile terminal call mathod and apparatus
KR102022892B1 (en) Apparatus and method for processing image of mobile terminal comprising camera
TWI520604B (en) Image pickup device and image preview system and image preview method thereof
KR20210053121A (en) Method and apparatus for training image processing model, and storage medium
WO2015143857A1 (en) Photograph synthesis method and terminal
WO2018196854A1 (en) Photographing method, photographing apparatus and mobile terminal
KR101491963B1 (en) Out focusing video calling method and apparatus of the mobile terminal
EP3599763A2 (en) Method and apparatus for controlling image display
US10970901B2 (en) Single-photo generating device and method and non-volatile computer-readable media thereof
JP2021005798A (en) Imaging apparatus, control method of imaging apparatus, and program
TWI516120B (en) Method for generating panoramic image and image capturing device thereof
JP2009103908A (en) Image display and image display method

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170925

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 6