KR101307014B1 - 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법 - Google Patents

배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법 Download PDF

Info

Publication number
KR101307014B1
KR101307014B1 KR1020120020017A KR20120020017A KR101307014B1 KR 101307014 B1 KR101307014 B1 KR 101307014B1 KR 1020120020017 A KR1020120020017 A KR 1020120020017A KR 20120020017 A KR20120020017 A KR 20120020017A KR 101307014 B1 KR101307014 B1 KR 101307014B1
Authority
KR
South Korea
Prior art keywords
frame
video
image
camera
screen
Prior art date
Application number
KR1020120020017A
Other languages
English (en)
Other versions
KR20130098469A (ko
Inventor
이재영
온기원
이동희
Original Assignee
주식회사 케이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이쓰리아이 filed Critical 주식회사 케이쓰리아이
Priority to KR1020120020017A priority Critical patent/KR101307014B1/ko
Priority to PCT/KR2012/002519 priority patent/WO2013129728A1/ko
Publication of KR20130098469A publication Critical patent/KR20130098469A/ko
Application granted granted Critical
Publication of KR101307014B1 publication Critical patent/KR101307014B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법에 관한 것으로, 더욱 상세하게는 트래킹에서 화면에 표출되는 영상에 카메라 영상과 동영상을 정합하는 것으로서, 카메라에서 생성되는 디지털 이미지와 정합되어 나타나게 될 동영상의 디지털 이미지를 프레임별로 정합을 수행하여 동영상이 카메라에 비치는 영상과 정합되어 마치 카메라에 나타나는 실제 영상에 동영상이 있는 것과 같은 효과를 주어 스마트폰의 화면이 다른 동영상 화면으로 바뀌지 않고 표출되는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법에 관한 것이다.
본 발명인 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰은,
카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 프레임영상캡쳐부(100)와;
트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 동영상프레임영상캡쳐부(200)와;
카메라의 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하기 위한 포즈정보획득부(300)와;
상기 포즈정보획득부로부터 방향과 기울임 정보를 획득하며, 상기 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하기 위한 포즈변형부(400)와;
상기 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하기 위한 동영상마스크이미지생성부(500)와;
마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하는 마스킹처리부(600)와;
마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출해주는 동영상병합표출부(700);를 포함하여 구성되는 것을 특징으로 한다.
본 발명을 통해 카메라 화면과 동영상 화면을 정합하는 것으로서, 스마트폰을 어느 방향으로 변경을 해도 동영상이 스마트폰과 같이 변경이 되지 않고 카메라에서 촬영되는 영상에 정합되어 나타나며, 카메라가 아닌 촬영 대상물을 이동하면, 대상 피사체를 따라 동영상이 이동하거나 방향에 정합되어 변형이 되어 실제 피사체 위에 동영상이 상영되는 실감나는 효과를 제공할 수 있게 된다.

Description

배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법{smartphone possible Frame Matching using Mask technique of Background Frame and thereof.}
본 발명은 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법에 관한 것으로, 더욱 상세하게는 트래킹에서 화면에 표출되는 영상에 카메라 영상과 동영상을 정합하는 것으로서, 카메라에서 생성되는 디지털 이미지와 정합되어 나타나게 될 동영상의 디지털 이미지를 프레임별로 정합을 수행하여 동영상이 카메라에 비치는 영상과 정합되어 마치 카메라에 나타나는 실제 영상에 동영상이 있는 것과 같은 효과를 주어 스마트폰의 화면이 다른 동영상 화면으로 바뀌지 않고 표출되는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법에 관한 것이다.
현재 이미지 인식 기반기술을 이용한 스마트폰 증강현실(Augmented-Reality)에서 2D 이미지를 인식하고 관련된 동영상 컨텐츠를 불러오는 앱이 각광을 받고 있다.
이는 기업 광고 포스터를 카메라로 비춰 동영상 광고를 감상하는데 주로 이용되고 있는 실정이다.
여기에 나타나는 동영상은 화면에 나타나는 이미지에 정합되지 못하고 공정된 크기로 영상을 보여 준다.
도 1에 도시한 바와 같이, 스마트폰을 부호 1의 요(Yaw), 부호 2의 피치(Pitch), 부호 3의 롤(roll)을 수행해도 동영상은 화면에 고정이 되어 카메라에 촬영된 이미지 영상과는 아무런 상호 반응을 하지 않는다.
이는 이미지를 트래킹한 후 동영상 컨텐츠를 불러와 동영상 뷰어를 활용하여 동영상 배경 이미지를 투명 처리하여 카메라 배경이 보이도록 처리하고, 카메라 배경 프레임을 위치시키고, 그 위에 동영상 뷰어를 위치시켜서 스마트폰 화면으로 표출해 준다.
그러나, 이러한 경우에는 도 2에 도시한 바와 같이, 동영상 뷰어를 평생사변형으로 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 하는 기능을 제공하지 않기 때문에 화면에 정합되어 카메라의 방향과 기울기에 따라 영상의 모양을 변형하는 것은 현재로서는 불가능하다는 문제점이 발생하게 된다.
이는 증강현실의 몰입감을 떨어뜨리는 문제점이 발생하여 현실감이 저하되는 단점이 발생하게 된다.
없음.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 동영상 뷰어를 사용하지 않고 영상/그래픽 처리 라이브러리를 활용하여 카메라 프레임 캡쳐 화면과 동영상 프레임 캡쳐 화면을 사용하되, 동영상 프레임 캡쳐 화면을 그래픽 라이브러리를 이용하여 평생사변형으로 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 하는 기능을 적용하고, 변형된 동영상 프레임 캡쳐 화면을 이미지 마스킹 기법을 이용하여 카메라 프레임 캡쳐 화면을 마스킹 처리한 다음, 처리된 카메라 프레임 캡쳐 화면과 변형된 동영상 프레임 캡쳐 화면을 병합하여 스마트폰의 움직임에 따라 정합되어 변형되는 화면을 표출하도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,
본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰은,
카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 프레임영상캡쳐부(100)와;
트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 동영상프레임영상캡쳐부(200)와;
카메라의 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하기 위한 포즈정보획득부(300)와;
상기 포즈정보획득부로부터 방향과 기울임 정보를 획득하며, 상기 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하기 위한 포즈변형부(400)와;
상기 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하기 위한 동영상마스크이미지생성부(500)와;
마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하는 마스킹처리부(600)와;
마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출해주는 동영상병합표출부(700);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
이상의 구성 및 작용을 지니는 본 발명에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법은,
카메라 화면과 동영상 화면을 정합하는 것으로서, 스마트폰을 어느 방향으로 변경을 해도 동영상이 스마트폰과 같이 변경이 되지 않고 카메라에서 촬영되는 영상에 정합되어 나타나며, 카메라가 아닌 촬영 대상물을 이동하면, 대상 피사체를 따라 동영상이 이동하거나 방향에 정합되어 변형이 되어 실제 피사체 위에 동영상이 상영되는 실감나는 효과를 제공할 수 있게 된다.
도 1은 종래 스마트폰의 포즈 변형시 동영상이 화면에 고정이 되어 카메라에 촬영된 이미지 영상과는 아무런 상호 반응을 하지 않는 예를 나타낸 예시도이다.
도 2는 종래 스마트폰의 카메라의 방향과 기울기에 따라 영상의 모양이 변형되지 않은 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰의 블록도이다.
도 4는 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰의 동영상을 카메라 화면에 정합하기 위한 캡쳐 이미지를 구성한 예시도이다.
도 5는 도 4의 정합 예를 나타낸 예시도이다.
도 6은 도 5를 실제 스마트폰을 통하여 보았을 때 표현되는 형태를 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합 방법을 나타낸 흐름도이다.
이하, 본 발명에 의한 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법의 실시예를 통해 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰의 블록도이다.
도 3에 도시한 바와 같이, 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰은,
카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 프레임영상캡쳐부(100)와;
트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 동영상프레임영상캡쳐부(200)와;
카메라의 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하기 위한 포즈정보획득부(300)와;
상기 포즈정보획득부로부터 방향과 기울임 정보를 획득하며, 상기 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하기 위한 포즈변형부(400)와;
상기 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하기 위한 동영상마스크이미지생성부(500)와;
마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하는 마스킹처리부(600)와;
마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출해주는 동영상병합표출부(700);를 포함하여 구성되게 된다.
즉, 카메라에서 생성되는 디지털 이미지와 정합되어 나타나게 될 동영상의 디지털 이미지를 프레임별로 정합시켜서 동영상이 카메라에 비치는 영상과 정합되어 마치 카메라에 나타나는 실제 영상에 동영상이 있는 것과 같은 효과를 주어 스마트폰의 화면이 다른 동영상 화면으로 바뀌지 않고 나타나는 특성을 제공하게 되는 것이다.
간단하게 설명하자면, 영상 캡쳐기술을 이용하여 카메라로부터 받아 변환된 디지털 이미지를 프레임별로 캡쳐하고, 동영상도 영상처리 라이브러리에서 제공되는 영상 캡쳐기술을 이용하여 프레임별로 캡쳐를 하게 된다.
영상처리 라이브러리에서는 영상을 캡쳐하여 실시간으로 화면을 가공하여 처리하는 특성을 가지고 있다.
이러한 기술을 응용하여 트래킹에서 각각의 영상을 캡쳐하고, 카메라 영상에서 동영상이 표시될 일부분을 그래픽 영상처리 라이브러리의 마스킹 기법을 이용하여 정합을 시켜 화면에 표출하는 것이다.
상기 프레임영상캡쳐부(100)는 카메라에서 획득되는 프레임 영상을 실시간으로 캡쳐하여 사용함에 있어 영상 라이브러리를 이용하여 캡쳐하게 된다.
이때, 상기 동영상프레임영상캡쳐부(200)는 트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하게 된다.
또한, 포즈정보획득부(300)는 카메라의 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하게 된다.
일반적으로 스마트폰에는 방향을 감지하기 위한 센서들이 설치 구성되어 있으므로 해당 센서로부터 포즈에 따른 방향과 기울임 정보를 획득할 수 있게 된다.
이때, 포즈변형부(400)는 포즈정보획득부로부터 방향과 기울임 정보를 획득하게 되고 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 획득된 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하여 포즈에 맞게 변형시키게 되는 것이다.
이후, 동영상마스크이미지생성부(500)는 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하게 되며, 마스킹처리부(600)는 마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하게 된다.
상기 동영상병합표출부(700)는 최종적으로 마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출하게 되는 것이다.
도 4는 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰의 동영상을 카메라 화면에 정합하기 위한 캡쳐 이미지를 구성한 예시도이다.
도 4는 동영상을 카메라 화면에 정합하기 위한 캡쳐 이미지를 구성한 도면으로 부호 1은 동영상 프레임 캡쳐 화면으로 카메라의 포즈에 맞게 계산되어 변형된 프레임 화면을 나타낸 것이며, 부호 2는 동영상이 카메라 프레임 캡쳐 화면에 정합되기 위한 동영상 프레임 마스크 이미지를 나타낸 것이며, 동영상 프레임 마스크 이미지를 부호 3의 카메라 프레임 캡쳐 화면에 마스킹을 하고, 마스킹 처리된 카메라 프레임 캡쳐 화면에 동영상 프레임 캡쳐 화면을 병합하여 하나의 프레임으로 만들어 부호 4의 스마트폰에 표출하여 사용자의 관점에서 동영상이 카메라를 통하여 촬영되는 화면에 정합되어 나타나도록 하게 된다.
도 4에서 설명한 구성요소들을 정합하게 되면 도 5와 같은 구조를 띄게 된다.
도 6은 도 5를 실제 스마트폰을 통하여 보았을 때 표현되는 형태를 나타내고 있다.
본 발명의 스마트폰은 상기와 같은 구성요소들을 구성하게 되며, 이를 통해 동영상 뷰어를 사용하지 않고, 영상그래픽 처리 라이브러리를 이용하여 카메라 프레임 캡쳐 화면과 동영상 프레임 캡쳐 화면을 사용하여 스마트폰의 움직임에 따라 정합시켜 변형되는 화면을 표출시키는 기능을 수행하게 된다.
도 7은 본 발명의 일실시예에 따른 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합 방법을 나타낸 흐름도이다.
도 7에 도시한 바와 같이, 프레임영상캡쳐부(100)가 스마트폰의 카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 프레임영상캡쳐단계(S100)와;
동영상프레임영상캡쳐부(200)가 트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 동영상프레임영상캡쳐단계(S200)와;
포즈정보획득부(300)가 스마트폰의 카메라 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하기 위한 포즈정보획득단계(S300)와;
포즈변형부(400)가 포즈정보획득부로부터 방향과 기울임 정보를 획득하며, 상기 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하기 위한 포즈변형단계(S400)와;
동영상마스크이미지생성부(500)가 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하기 위한 동영상마스크이미지생성단계(S500)와;
마스킹처리부(600)가 마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하는 마스킹처리단계(S600)와;
동영상병합표출부(700)가 마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출해주는 동영상병합표출단계(S700);를 포함하여 이루어지는 것을 특징으로 한다.
즉, 프레임영상캡쳐부(100)가 스마트폰의 카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐(S100)하게 되며, 동시에 동영상프레임영상캡쳐부(200)가 트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐(S200)하게 된다.
이후, 포즈정보획득부(300)가 스마트폰의 카메라 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득(S300)하게 되며, 포즈변형부(400)가 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하여 포즈를 변형(S400)시키게 되는 것이다.
이후, 동영상마스크이미지생성부(500)가 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성(S500)하게 되며, 마스킹처리부(600)가 마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹 처리(S600)하게 된다.
이후, 최종적으로 동영상병합표출부(700)가 마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출(S700)하게 되는 것이다.
상기와 같은 구성 및 동작을 통해 카메라 화면과 동영상 화면을 정합하는 것으로서, 스마트폰을 어느 방향으로 변경을 해도 동영상이 스마트폰과 같이 변경이 되지 않고 카메라에서 촬영되는 영상에 정합되어 나타나며, 카메라가 아닌 촬영 대상물을 이동하면, 대상 피사체를 따라 동영상이 이동하거나 방향에 정합되어 변형이 되어 실제 피사체 위에 동영상이 상영되는 실감나는 효과를 제공할 수 있게 된다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 프레임영상캡쳐부
200 : 동영상프레임영상캡쳐부
300 : 포즈정보획득부
400 : 포즈변형부
500 : 동영상마스크이미지생성부
600 : 마스킹처리부
700 : 동영상병합표출부

Claims (6)

  1. 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰에 있어서,
    카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 프레임영상캡쳐부(100)와;
    트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 동영상프레임영상캡쳐부(200)와;
    카메라의 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하기 위한 포즈정보획득부(300)와;
    상기 포즈정보획득부로부터 방향과 기울임 정보를 획득하며, 상기 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하기 위한 포즈변형부(400)와;
    상기 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하는 동영상마스크이미지생성부(500)와;
    상기 마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하는 마스킹처리부(600)와;
    마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출해주는 동영상병합표출부(700);를 포함하여 구성되는 것을 특징으로 하는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰.
  2. 제 1항에 있어서,
    상기 스마트폰의 화면에,
    피사체의 동영상이 정합되어 지는 것을 특징으로 하는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰.
  3. 제 1항에 있어서,
    상기 스마트폰은,
    동영상 뷰어를 사용하지 않고, 영상그래픽 처리 라이브러리를 이용하여 상기 카메라 프레임 캡쳐 화면과 상기 동영상 프레임 캡쳐 화면을 사용하여 스마트폰의 움직임에 따라 정합시켜 변형되는 화면을 표출시키는 것을 특징으로 하는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰.
  4. 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합 방법에 있어서,
    프레임영상캡쳐부(100)가 스마트폰의 카메라에서 획득되는 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 프레임영상캡쳐단계(S100)와;
    동영상프레임영상캡쳐부(200)가 트래킹을 통하여 획득된 동영상 프레임 영상을 영상 라이브러리를 이용하여 캡쳐하는 동영상프레임영상캡쳐단계(S200)와;
    포즈정보획득부(300)가 스마트폰의 카메라 포즈에 따라 방향과 기울임 정보를 방향감지센서로부터 획득하기 위한 포즈정보획득단계(S300)와;
    포즈변형부(400)가 포즈정보획득부로부터 방향과 기울임 정보를 획득하며, 상기 동영상프레임영상캡쳐부에 의해 캡쳐된 동영상을 방향과 기울임 정보를 참조하여 비스듬하게(skew) 처리를 하거나, 사다리꼴로 틀어지게(perspective) 처리하기 위한 포즈변형단계(S400)와;
    동영상마스크이미지생성부(500)가 포즈변형부에 의해 변형된 동영상 프레임 캡쳐 화면을 획득하여 카메라 프레임 캡쳐 화면에 마스킹하기 위한 마스크 이미지를 생성하기 위한 동영상마스크이미지생성단계(S500)와;
    마스킹처리부(600)가 상기 마스크 이미지를 이용하여 상기 카메라 프레임 캡쳐 화면에 마스킹하는 마스킹처리단계(S600)와;
    동영상병합표출부(700)가 마스킹된 카메라 프레임 캡쳐 화면과 마스킹된 동영상 프레임 캡쳐 화면을 병합하여 화면에 표출해주는 동영상병합표출단계(S700);를 포함하여 이루어지는 것을 특징으로 하는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합 방법.
  5. 제 4항에 있어서,
    상기 스마트폰의 화면에,
    피사체의 동영상이 정합되어 지는 것을 특징으로 하는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합 방법.
  6. 제 4항에 있어서,
    상기 스마트폰은,
    동영상 뷰어를 사용하지 않고, 영상그래픽 처리 라이브러리를 이용하여 상기 카메라 프레임 캡쳐 화면과 상기 동영상 프레임 캡쳐 화면을 사용하여 스마트폰의 움직임에 따라 정합시켜 변형되는 화면을 표출시키는 것을 특징으로 하는 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합 방법.

KR1020120020017A 2012-02-28 2012-02-28 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법 KR101307014B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120020017A KR101307014B1 (ko) 2012-02-28 2012-02-28 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법
PCT/KR2012/002519 WO2013129728A1 (ko) 2012-02-28 2012-04-04 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020017A KR101307014B1 (ko) 2012-02-28 2012-02-28 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130098469A KR20130098469A (ko) 2013-09-05
KR101307014B1 true KR101307014B1 (ko) 2013-09-11

Family

ID=49082901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020017A KR101307014B1 (ko) 2012-02-28 2012-02-28 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법

Country Status (2)

Country Link
KR (1) KR101307014B1 (ko)
WO (1) WO2013129728A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898096B2 (en) 2014-09-17 2018-02-20 Samsung Electronics Co., Ltd. Electronic device and method of controlling display of screen thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051983A (ja) * 2001-06-04 2003-02-21 Univ Of Washington オブジェクトをトラッキングするための方法および装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100480076B1 (ko) * 2002-12-18 2005-04-07 엘지전자 주식회사 정지영상 이미지 처리방법
KR100868076B1 (ko) * 2006-12-27 2008-11-11 에이알비전 (주) 인터레이스 방식의 동영상에서 이미지를 합성하는 장치 및방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051983A (ja) * 2001-06-04 2003-02-21 Univ Of Washington オブジェクトをトラッキングするための方法および装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898096B2 (en) 2014-09-17 2018-02-20 Samsung Electronics Co., Ltd. Electronic device and method of controlling display of screen thereof

Also Published As

Publication number Publication date
WO2013129728A1 (ko) 2013-09-06
KR20130098469A (ko) 2013-09-05

Similar Documents

Publication Publication Date Title
US9947141B2 (en) Method of image processing for an augmented reality application
EP3189495B1 (en) Method and apparatus for efficient depth image transformation
JP5122641B2 (ja) カメラとマーク出力とによるポインティング装置
US9807263B2 (en) Mobile document capture assistance using augmented reality
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
JP5803467B2 (ja) 画像処理装置および撮像装置、ならびに画像処理方法
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
WO2017112041A1 (en) Morphological and edge filters for depth edge enhancement in digital images
US20180288387A1 (en) Real-time capturing, processing, and rendering of data for enhanced viewing experiences
US10122912B2 (en) Device and method for detecting regions in an image
US10341557B2 (en) Image processing apparatuses and methods
US9105132B2 (en) Real time three-dimensional menu/icon shading
WO2018098862A1 (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
US20230048234A1 (en) Real-time video overlaying display
JP6420605B2 (ja) 画像処理装置
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
KR101307014B1 (ko) 배경 프레임에 마스크 기법을 이용한 대상 프레임의 정합이 가능한 스마트폰 및 그 방법
KR20160135748A (ko) 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어
JP2008203538A (ja) 画像表示システム
JP6103942B2 (ja) 画像データ処理装置及び画像データ処理プログラム
JP2016091193A (ja) 画像処理装置、画像処理方法およびプログラム
JP5563390B2 (ja) 画像処理装置およびその制御方法、及びプログラム
WO2016181672A1 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP5787930B2 (ja) ビデオ用の仮想ナビゲーションシステム
CN116977565A (zh) 三维场景重建方法及其装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 7