KR101936429B1 - 정합 이미지 생성방법 및 이를 수행하는 단말기 - Google Patents

정합 이미지 생성방법 및 이를 수행하는 단말기 Download PDF

Info

Publication number
KR101936429B1
KR101936429B1 KR1020170054601A KR20170054601A KR101936429B1 KR 101936429 B1 KR101936429 B1 KR 101936429B1 KR 1020170054601 A KR1020170054601 A KR 1020170054601A KR 20170054601 A KR20170054601 A KR 20170054601A KR 101936429 B1 KR101936429 B1 KR 101936429B1
Authority
KR
South Korea
Prior art keywords
image
rotation
terminal
partial
additional
Prior art date
Application number
KR1020170054601A
Other languages
English (en)
Other versions
KR20180120515A (ko
Inventor
김규현
Original Assignee
주식회사 유브이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유브이알 filed Critical 주식회사 유브이알
Priority to KR1020170054601A priority Critical patent/KR101936429B1/ko
Publication of KR20180120515A publication Critical patent/KR20180120515A/ko
Application granted granted Critical
Publication of KR101936429B1 publication Critical patent/KR101936429B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/23245
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/416Exact reconstruction

Abstract

정합 이미지 생성방법 및 그 단말기가 개시된다. 상기 본 발명의 실시 예에 따른 정합 이미지 생성방법은 이미지 센서가 구비된 단말기가 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하는 단계 및 상기 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 회전촬영 단계를 포함하며, 획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성된다.

Description

정합 이미지 생성방법 및 이를 수행하는 단말기{Method and apparatus for making stitched image}
본 발명은 정합 이미지를 생성할 수 있는 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 사용자가 소지하는 단말기를 이용하여 전문적인 장비 없이도 상대적으로 정확하고 효과적인 정합 이미지(예컨대, 360도 이미지)를 생성할 수 있는 방법 및 시스템에 관한 것이다.
정합 이미지를 생성하여 가상현실 또는 사실감 높은 시뮬레이션 환경을 제공하고자 하는 시도가 널리 이용되고 있다.
예컨대, 파노라마 이미지는 복수의 이미지들을 가로(좌우)로 결합하여 가로의 시야각이 180도 내지 360도를 커버할 수 있는 이미지를 의미할 수 있다.
또한 360도 이미지는 사용자를 중심으로 상하좌우 모두가 커버될 수 있는 이미지를 의미할 수 있으며 일반적으로 스피어(sphere) 또는 메카토르(mercator)에 여러 이미지를 배치함으로써 획득될 수 있다.
하지만 이러한 파노라마 이미지 또는 360도 이미지를 획득하기 위해서는 전문적인 장비가 필요한 실정이다. 최근에는 사용자가 직접 이동식 단말기(예컨대, 스마트 폰)을 들고 상기 이동식 단말기를 회전시켜가면서 복수의 사진들을 획득하여 획득된 사진들을 정합함으로써 정합 이미지(예컨대, 파노라마 이미지 또는 360도 이미지)를 생성하고자 하는 시도가 존재하였다.
하지만 이러한 경우 복수의 사진들의 시야각 또는 촬영방향이 정확하지 않아서 이미지 스티칭에 상당한 시간이 걸릴뿐만 아니라 그 정확성도 낮을 수 밖에 없다.
한국특허출원 공개번호 10-2002-0078663 "디지털 모자이크 이미지 구성에서 다수의 조각 이미지들을 위치 정합시키는 디지털 조각 이미지 정합처리방법 및 정합처리장치" 한국특허출원 공개번호 10-2014-0147597 "이동 단말기 및 이의 제어방법"
본 발명이 이루고자 하는 기술적인 과제는 사용자가 휴대하고 있는 단말기를 이용하여 간편하고 상대적으로 정확하게 정합 이미지를 생성할 수 있는 방법 및 그 시스템을 제공하는 것이다.
특히 상기 단말기를 회전시킬 수 있는 구동장치를 이용함으로써 정합할 이미지의 방향을 상대적으로 정확하게 알 수 있고, 이를 통해 이미지의 정합시에 상대적으로 빠르고 정확한 이미지 정합이 가능할 수 있는 방법 및 시스템을 제공하는 것이다.
또한 단말기가 정합할 이미지들 즉, 부분 이미지들을 촬영하기 위해 회전을 수행하는데, 한 번의 회전을 통해 획득된 이미지들만을 정합 이미지의 생성에 이용하는 것이 아니라, 복수의 회전을 통해 각각의 회전들별로 부분 이미지들을 획득하고, 서로 다른 회전으로부터 획득된 부분 이미지를 같이 이용하여 정합 이미지를 생성할 수 있는 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 정합 이미지 생성방법은 이미지 센서가 구비된 단말기가 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하는 단계 및 상기 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 회전촬영 단계를 포함하며, 획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성된다.
다른 실시 예에 따른 본 발명의 정합 이미지 생성방법은 이미지 센서가 구비된 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계, 상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며, 상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 한다.
또 다른 실시 예에 따른 본 발명의 정합 이미지 생성방법은 단말기가 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계, 상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며, 상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 단말기는 프로세서를 포함하는 제어부, 상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체, 및 이미지 센서를 포함하며, 상기 프로그램은, 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하고, 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 것을 특징으로 하며, 획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성된다.
본 발명의 다른 실시 예에 따른 단말기는 프로세서를 포함하는 제어부, 상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체, 및 이미지 센서; 를 포함하며, 상기 프로그램은 상기 단말기의 기초회전을 통해 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하고, 상기 단말기의 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하며, 상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 한다.
본 발명의 기술적 사상에 의하면, 사용자가 휴대하고 있는 단말기를 이용하여 간편하고 상대적으로 정확한 정합 이미지를 생성할 수 있도록 함으로써 누구나 손쉽게 저렴한 비용으로 정합 이미지(예컨대, VR에 활용될 수 있는 360 이미지 등)를 활용할 수 있도록 하는 효과가 있다.
또한 단말기를 회전시킬 수 있는 구동장치를 이용함으로써 정합할 이미지의 방향을 상대적으로 정확하게 알 수 있고, 이를 통해 이미지의 정합 시에 상대적으로 빠르고 정확한 이미지 정합이 가능한 효과가 있으며, 이러한 구동장치의 이용으로 이미지의 촬영시의 방향(로테이션 각도)의 제어가 정확히 이루어질 수 있으므로 단말기가 정합할 이미지들 즉, 부분 이미지들을 촬영하기 위해 한 번의 회전을 통해 획득된 이미지들만을 정합 이미지의 생성에 이용하는 것이 아니라, 복수의 회전을 통해 각각의 회전들별로 부분 이미지들을 획득하고, 서로 다른 회전으로부터 획득된 부분 이미지를 같이 이용하여 정합 이미지를 생성할 수 있는 효과가 있다.
이를 통해 예컨대, 제1회전에서 특정 방향(예컨대, 정면 방향)을 촬영한 부분이미지와 제2회전에서 상기 특정 방향을 촬영한 부분 이미지에 이미지 차이가 존재하는 경우, 원하는 부분 이미지를 다른 회전에서 촬영한 부분 이미지들과 정합하여 사용자가 원하는 효과를 획득할 수 있다. 예컨대 제1회전에서 특정 방향에 해당하는 부분 이미지에는 사용자가 원치 않는 특징(예컨대, 특정 객체(예컨대, 사람 등)가 촬영됨)이 존재하고, 제2회전에서 상기 특정 방향에는 상기 특징이 존재하지 않는 경우(예컨대, 특정 객체(예컨대, 사람 등)가 촬영되지 않음) 경우, 제1회전에서 상기 특정 방향의 부분 이미지를 제외한 이미지들과 제2회전에서 상기 특정 방향의 부분 이미지를 결합함으로써 전체 정합 이미지에는 사용자가 원치 않는 특징이 나타나지 않도록 하는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 구현하기 위한 장치들을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 단말기의 개략적인 구성을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 정합 이미지 및 부분 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 설명하기 위한 흐름도를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 이용해 복수의 회전을 수행하여 부분 이미지들을 획득하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 다른 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 구현하기 위한 장치들을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 기술적 사상에 따른 정합 이미지 생성방법을 구현하기 위해서는 단말기(100)가 구비될 수 있다.
상기 단말기(100)는 사용자가 휴대하고 다닐 수 있으며, 이미지를 획득할 수 있는 이미지 센서를 구비하는 모든 형태의 데이터 처리장치를 포함하는 의미일 수 있다. 일 예에 의하면 상기 단말기(100)는 사용자의 휴대폰일 수 있지만 이에 국한되지는 않는다. 또한 본 발명의 기술적 사상의 일부는 사용자가 휴대하고 다니지 않는 장치에 의해 구현될 수도 있으며, 이러한 경우에도 본 발명의 권리범위에 포함될 수 있음은 물론이다.
상기 단말기(100)는 회전을 수행하면서 이미지들(부분 이미지)을 촬영할 수 있다. 상기 단말기(100)는 상기 단말기(100)를 중심으로 360도를 회전할 수도 있고, 360도를 회전하지 않을 수도 있다. 어떠한 경우든 상기 단말기(100)는 생성하고자 하는 정합 이미지가 커버하고자 하는 각도(예컨대, 360도, 270도, 180도 등)를 모두 커버할 수 있도록 필요한 만큼 회전을 수행할 수 있다. 물론 회전의 정도는 상기 단말기(100)에 구비된 이미지 센서의 시야각의 크기에 따라 달라질 수 있음은 물론이다.
상기 단말기(100)는 상기 단말기(100)를 회전하도록 하는 소정의 구동장치(200)에 부착, 체결, 또는 결합될 수 있다. 그리고 상기 구동장치(200)를 통해 상기 단말기(100)의 움직임이 수행될 수 있다.
상기 단말기(100)는 상기 구동장치(200)를 제어할 수 있다. 일 예에 의하면, 상기 단말기(100)는 상기 구동장치(200)와 소정의 근거리 무선통신(예컨대, 블루투스, NFC, 지그비 통신, WiFi 등)을 수행할 수 있다. 상기 단말기(100)는 상기 구동장치(200)로 소정의 커맨드를 전송할 수 있고, 전송된 커맨드에 응답하여 상기 구동장치(200)는 구동을 할 수 있다. 또한 실시 예에 따라 상기 구동장치(200)는 상기 커맨드에 응답하여 수행된 구동의 구동결과를 상기 단말기(100)로 전송할 수 있다.
상기 구동장치(200)는 적어도 회전운동을 수행하는 장치일 수 있다. 이러한 회전운동을 위한 로테이터가 상기 구동장치(200)에 구비될 수 있다. 또한 상기 구동장치(200)는 상기 단말기(100)를 체결시키기 위한 소정의 체결부(미도시)가 구비될 수 있다.
일 예에 의하면, 상기 구동장치(200)는 미리 정해진 기준 각도단위로 회전을 수행할 수 있는 장치일 수 있으며, 상기 단말기(100)로부터 수신된 커맨드에 응답하여 상기 커맨드에서 원하는 만큼의 각도만큼 회전될 수 있다. 이러한 방식을 통해 상기 구동장치(200) 및/또는 상기 단말기(100)의 회전각도가 제어될 수 있다.
다른 실시 예에 의하면, 상기 구동장치(200)는 단말기(100)로부터 수신된 커맨드에 응답하여 회전을 수행할 수 있다. 그리고 상기 단말기(100)가 상기 구동장치(200)(즉, 상기 단말기(100))의 회전정도를 센싱하고, 필요한 각도가 회전되었다고 센싱되면 상기 구동장치(200)의 회전을 멈추는 커맨드를 전송할 수도 있다. 어떠한 경우든, 상기 단말기(100)는 구동장치(200)의 회전각도의 제어를 통해 자신의 회전각도를 상대적으로 정확하게 제어할 수 있다.
본 명세서에서는 상기 구동장치(200)가 단순히 상기 단말기(100)를 회전시키는 기능만을 구비한 일 예를 설명하지만, 필요에 따라 상기 구동장치(200)는 이동, 상기 단말기(100)의 틸트(tilt) 등을 수행하거나, 상하로 상기 단말기(100)의 위치를 변경하는 등의 기능을 수행하도록 구현될 수도 있다.
한편, 상기 단말기(100)에는 특정 방향(예컨대, 상하방향)의 시야각을 확대하기 위한 소정의 시야각 확대장치(예컨대, 어안렌즈 등, 300)가 부착될 수도 있다. 이러한 경우 상기 시야각 확대장치에 의해 상하로 거의 180도 까지의 시야각이 확보될 수도 있으며, 이러한 경우에는 상기 단말기(100)가 좌우 360도의 시야각을 확보할 수 있도록 회전을 수행할 경우 360도 이미지(스피어 이미지)를 생성할 수 있음은 물론이다.
결국, 본 발명의 기술적 사상에 의하면 상기 단말기(100)는 상기 구동장치(200)를 제어하여 원하는 각도만큼 상대적으로 정확하게 회전(즉, 원하는 방향으로 회전)하여 이미지를 촬영한 후, 다시 원하는 각도만큼 회전을 수행하여 이미지를 촬영할 수 있다. 이러한 회전 각도의 제어가 상기 단말기(100)에 의해 상대적으로 정확하게 이루어지는 경우, 단말기(100)는 인접한 이미지의 회전각도(시야각)을 정확하게 알고 있을 수 있으며 이러한 경우 이미지 정합(스티칭)의 정확성 및 신속성이 향상될 수 있는 효과가 있다.
한편, 다른 실시 예에 의하면, 상기 단말기(100)는 단순히 원하는 각도를 커버할 정도의 회전을 한번 수행하고 이러한 회전 동안 획득된 복수의 부분 이미지들을 정합하여 정합 이미지를 생성하는 것이 아니라, 복수의 회전을 수행하면서 각각의 회전별로 적어도 하나의 부분 이미지들을 획득하고 서로 다른 회전에서 획득된 부분 이미지들을 정합하여 하나의 정합 이미지를 생성할 수도 있다.
이러한 기술적 사상은 특정 타임구간에서 획득된 특정 방향의 부분 이미지를 다른 타임구간에서 획득된 상기 특정 방향의 부분 이미지로 대체하여 정합 이미지를 생성할 수 있는 기술적 사상을 제공할 수 있다. 또한 이러한 기술적 사상은 전술한 바와 같이 구동장치(200)를 통해 단말기(100)의 회전이 정확히 제어되는 경우 더욱 그 효과가 커질 수 있다.
이러한 기술적 사상을 구현하기 위한 상기 단말기(100)의 구성은 도 2를 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 단말기의 개략적인 구성을 나타낸다.
도 2를 참조하면, 상기 단말기(100)는 제어부(110), A/V(Audio/Video) 입력모듈(120), 및 저장매체(160)를 적어도 포함한다. 상기 단말기(100)는 통신모듈(130), 출려모듈(140), 및 입력모듈(150)을 더 포함할 수 있다. 상기 단말기(100)는 소정의 서비스 서버(400)와 통신을 수행할 수도 있다. 이러한 경우 상기 통신모듈(130)에는 상기 서비스 서버(400)와 통신을 수행하기 위한 무선 인터넷 장치 등이 구비될 수 있음은 물론이다.
또한, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어(예컨대, 상기 제어부(110) 및/또는 저장매체(160)) 및 상기 하드웨어를 구동하기 위한 소프트웨어(예컨대, 본 발명의 기술적 사상을 구현하기 위한 상기 프로그램)의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각각의 구성들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류나 특정 개수의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 따라서 상기 각각의 구성들은 본 명세서에서 정의되는 기능을 수행하는 하드웨어 및 소프트웨어의 결합을 의미하며 특정 물리적 구성을 의미하는 것은 아니다.
A/V(Audio/Video) 입력모듈(120)은 적어도 이미지 센서(121)를 포함한다. 이미지 센서(121)는 이미지를 촬영/획득할 수 있는 장치를 의미할 수 있으며, 구현 예에 따라 상기 A/V(Audio/Video) 입력모듈(120)은 복수의 이미지 센서(121)들을 구비할 수도 있다.
또한 구현 예에 따라 상기 A/V(Audio/Video) 입력모듈(120)은 오디오 신호 또는 비디오 신호 입력을 위한 다른 구성(예컨대, 마이크 등)을 더 포함할 수 있다.
통신모듈(130)은 근거리 통신모듈(131)을 포함한다. 또한 상술한 바와 같이 필요에 따라 무선 통신 장치(미도시)를 더 구비하여 외부 무선 통신 시스템과 통신을 수행할 수도 있다.
상기 통신모듈(130)에 포함된 상기 근거리 통신모듈(131)을 통해 상기 단말기(100)는 상기 구동장치(200)와 통신을 수행할 수 있다. 근거리 통신모듈(131)이 수행하는 근거리 통신 프로토콜은 예컨대,
블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, WiFi 등이 이용될 수 있다.
출력모듈(140)은 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 구성일 수 있다. 예컨대, 디스플레이 장치, 음향 출력 장치, 알람장치, 및 햅틱 모듈 등이 포함될 수 있다.
입력모듈(150)은 상기 단말기(100)로 사용자가 원하는 입력신호를 입력받을 수 있도록 구현된다. 예컨대, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
상기 저장매체(160)는 본 발명의 기술적 사상을 구현하기 위해 상기 단말기(100)가 생성하거나 외부로부터 입력받은 데이터를 영구적으로 또는 임시적으로 저장할 수 있는 장치일 수 있다.
구현 예에 따라 상기 저장매체(160)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장매체(160)의 일부는 상기 제어부(110)의 내부에 존재할 수도 있다. 상기 저장매체(160)는 구현 예에 따라 하드 디스크, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 단말기(100)에 착탈식으로 구현될 수도 있다.
일 예에 의하면, 상기 저장매체(160)에는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장될 수 있다. 상기 프로그램은 상기 제어부(110)에 의해 구동(실행)될 수 있으며, 상기 프로그램이 실행됨으로써 본 발명에서 정의되는 기능들이 수행될 수 있다. 이하 본 명세서에서는 특별한 기재가 없는 한 상기 프로그램에 의해 본 명세서에서 정의하는 기능이 수행됨을 의미할 수 있다.
상기 제어부(110)는 프로세서를 포함하며 상기 단말기(100)의 전반적인 동작을 제어할 수 있다. 상기 제어부(110)는 프로세서, 마이크로 프로세스 등을 포함할 수 있으며 전술한 바와 같이 저장매체(160)에 저장된 프로그램을 구동함으로써 본 발명의 기술적 사상을 구현할 수 있다.
또한, 필요에 따라 상기 단말기(100)는 소정의 센싱모듈(미도시)을 구비할 수 있으며, 상기 센싱모듈을 통해 상기 단말기(100)의 개폐 상태, 단말기(100)의 위치, 사용자 접촉 유무, 단말기의 방위, 단말기의 가속/감속 등을 센싱할 수 있다. 또한 전술한 바와 같이 상기 단말기(100)의 회전각도를 센싱하여, 센싱된 정보에 기초하여 상기 단말기(100)가 제어될 수도 있다.
일 예에 의하면, 상기 단말기(100)는 구동장치(200)를 제어하여 회전을 수행하면서 부분 이미지들을 획득할 수 있다. 획득된 부분 이미지들은 정합이 수행될 수 있으며, 상기 부분 이미지들의 정합은 상기 단말기(100)에서 수행될 수도 있다. 하지만 필요에 따라 부분 이미지들의 정합은 상기 단말기(100)와 통신을 수행하는 서비스 서버(400)에서 수행될 수도 있으며, 이러한 경우 상기 단말기(100)는 획득된 부분 이미지들을 상기 서비스 서버(400)로 전송할 수 있다. 그리고 필요한 경우 상기 서비스 서버(400)로부터 정합된 정합 이미지를 수신하여 상기 단말기(100)에서 디스플레이할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 정합 이미지 및 부분 이미지를 설명하기 위한 도면이다.
이하 본 명세서에서, 명시적으로 달리 설명하지 않은 이상, 단말기(100) 또는 서비스 서버(400)에 의해 정합되는 정합 이미지는 360도 이미지(스피어 이미지)를 의미할 수 있다. 또한 상기 단말기(100)는 60도씩 회전하여 360도를 회전하면서 서로 다른 6장의 부분 이미지들을 촬영하는 경우를 일 예로 설명하기로 한다. 또한 부분 이미지들을 정합하는 기능 역시 상기 단말기(100)가 수행하는 경우를 예시적으로 설명하지만, 부분 이미지들의 정합은 서비스 서버(400)에 의해 수행될 수 있음은 전술한 바와 같다.
우선 도 3a를 참조하면, 단말기(100)는 정합 이미지를 생성하기 위해 n(예컨대, 6)개의 부분 이미지들(예컨대, 10-1 내지 15-1)을 촬영할 수 있다. 이를 위해 상기 단말기(100)는 구동장치(200)를 제어하여 n개의 방향(예컨대, 10 내지 15)을 향하도록 회전한 후, 각각의 방향에서 부분 이미지를 촬영할 수 있다.
예컨대, 상기 단말기(100)는 제1방향(10)에서 제1부분 이미지(10-1)를 촬영하고, 제2방향을 향하도록 구동장치(200)를 제어할 수 있다. 그리고 제2방향(11)에서 제2부분 이미지(11-1)를 촬영할 수 있다. 이와 같은 방식으로 상기 단말기(100)는 6개의 부분 이미지들을 순차적으로 획득할 수 있다. 이러한 경우 상기 단말기(100)의 이미지 센서(121)는 적어도 좌우 60도 보다는 큰 시야각을 갖는 것이 바람직할 수 있다. 상기 단말기(100)는 순차적으로 회전 및 촬영을 통해 부분 이미지들(예컨대, 10-1 내지 15-1)을 획득할 수 있으므로, 서로 인접한 부분 이미지들이 무엇인지를 알 수 있다. 더욱이 각 부분 이미지들의 방향을 정확히 알고 있으므로 상대적으로 부분 이미지들 간에 겹치는 영역을 손쉽게 판단할 수 있으며, 이를 통해 상대적으로 빠른 시간 내에 이미지 정합이 이루어질 수 있는 효과가 있다.
상기 단말기(100)가 회전을 수행하기 위해서는, 상기 단말기(100)가 상기 구동장치(200)로 미리 정해진 각도(예컨대, 60도)를 회전하라는 커맨드를 전송할 수 있다. 그리고 커맨드에 응답하여 상기 구동장치(200)로부터 상기 각도만큼 회전이 수행되었다는 신호를 수신하면, 상기 단말기(100)는 부분 이미지를 촬영할 수 있다.
다른 실시 예에 의하면, 상기 단말기(100)는 구동장치(200)를 회전시키라는 커맨드를 구동장치(200)로 출력할 수 있다. 이에 응답하여 상기 구동장치(200)가 회전을 수행하면, 상기 단말기(100)는 회전각도를 센싱할 수 있다. 그리고 회전 각도가 원하는 각도에 상응하면 상기 단말기(100)는 구동장치(200)로 회전 중지를 위한 커맨드를 출력할 수 있다. 그러면 상기 구동장치(200)는 회전을 중지할 수 있고, 그러면 상기 단말기(100)는 부분 이미지를 촬영할 수 있다.
어떠한 방식이든 상기 단말기(100)는 원하는 각도만큼 회전을 수행하여, 수행된 각도(방향)에서 부분 이미지를 촬영할 수 있다.
한편, 반드시 본 발명의 기술적 사상이 상기 단말기(100)가 좌우로 360도 회전되어야 하는 것은 아닐 수 있으며, 미리 정해진 각도를 커버하는 정합 이미지를 생성하기 위해 필요한 각도만 회전할 수도 있다. 이러한 일 예는 도 3b에 도시된 바와 같을 수 있다.
도 3b에 도시된 바와 같이 단말기(100)는 180도를 커버하는 정합 이미지를 생성할 수 있고, 이를 위해 180도를 분할한 n개의 방향(예컨대, 21을 포함하는 12방향)을 향하도록 순차적으로 회전하면서 n방향에서 n개의 부분 이미지(예컨대, 21-1을 포함하는 12개의 부분 이미지)를 촬영할 수 있다. 그리고 상기 부분 이미지들을 정합하여 180도를 커버하는 정합 이미지를 생성할 수도 있다.
이러한 본 발명의 정합 이미지 생성방법을 간략히 정리하면 도 4와 같을 수 있다.
도 4는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 설명하기 위한 흐름도를 나타낸다.
도 4를 참조하면, 상기 단말기(100)는 소정의 방향에서 부분 이미지를 획득할 수 있다(S10). 그리고 구동장치(200)를 제어하여 미리 정해진 각도만큼 회전을 수행할 수 있다(S20). 그리고 회전이 수행된 상태에서 해당하는 부분 이미지를 획득할 수 있다(S30). 그리고 원하는 n개의 방향에 상응하는 n개의 부분 이미지들을 획득하였는지 판단할 수 있다(S40). 만약 n개의 부분 이미지들을 모두 획득하지 못했다고 판단되면(S40), 상기 단말기(100)는 다시 구동장치를 제어하여 회전을 수행한 후 부분 이미지를 획득할 수 있다(S20, S30).
만약 n개의 부분 이미지들을 모두 획득했다고 판단되면(S40), 상기 단말기(100)는 획득된 부분 이미지들을 정합하는 정합 프로세스를 수행할 수 있다(S50). 상기 정합 프로세스는 상기 단말기(100)가 직접 이미지 정합을 수행하는 프로세스이거나 또는 상기 단말기(100)가 상기 서비스 서버(400)로 부분 이미지들을 전송하고 상기 서비스 서버(400)가 부분 이미지들을 정합하도록 하는 프로세스를 의미할 수 있음은 전술한 바와 같다.
한편, 본 발명의 기술적 사상은 전술한 바와 같이 상기 단말기(100)가 복수의 회전을 수행함으로써, 서로 다른 회전을 통해 획득된 부분 이미지들을 하나의 정합 이미지를 생성하는데 이용하도록 할 수 있다.
이러한 일 예는 도 5 내지 도 6을 참조하여 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 이용해 복수의 회전을 수행하여 부분 이미지들을 획득하는 개념을 설명하기 위한 도면이다. 또한, 도 6은 본 발명의 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.
우선 도 5a를 참조하면, 상기 단말기(100)는 n(예커대, 6)개의 방향(예컨대, 10 내지 15)을 각각 향하도록 회전한 후, 각각의 방향(예컨대, 10 내지 15)에서 부분 이미지들(예컨대, 10-1 내지 15-1)을 촬영할 수 있다. 이러한 회전 및 촬영과정을 기초회전으로 정의하도록 한다.
그러면 상기 단말기(100)는 상기 기초회전을 통해 획득된 부분 이미지들(예컨대, 10-1 내지 15-1)을 정합하여 정합 이미지를 생성하는 것이 아니라, 추가 회전을 수행할 수 있다. 그리고 추가회전을 통해 적어도 하나의 부분 이미지를 획득할 수 있다. 상기 추가회전은 한 번 또는 그 이상일 수 있지만, 설명의 편의를 위해 본 명세서에서는 추가회전은 한 번인 것을 가정하여 설명하도록 한다.
또한 기초회전에서 획득된 부분 이미지를 기초회전 부분 이미지로 정의하기로 하고, 추가회전을 통해 획득된 부분 이미지를 추가회전 부분 이미지로 정의하기로 한다.
그러면 본 발명의 기술적 사상은 기초회전 부분 이미지들 중 일부와 추가회전 부분 이미지 중 전부 또는 일부를 정합하여 정합 이미지를 생성할 수 있다. 이를 통해 서로 다른 시간구간(예컨대, 기초회전에 해당하는 시간구간 및 추가회전에 해당하는 시간구간)에서 촬영된 이미지들이 정합되어 하나의 정합 이미지를 생성하는 개념이 제시된다.
이러한 개념은 촬영대상이 정적인 피사체(예컨대, 풍경, 건물이나 부동산 등) 즉, 시간에 크게 영향을 받지 않는 피사체를 촬영하여 정합 이미지(예컨대, 360도 이미지)를 생성하고자 할 때, 특정방향에 해당하는 기초회전 부분 이미지가 사용자가 원치 않는 특징이 있는 경우 상기 기초회전 부분 이미지를 상기 특징이 없는 추가회전 부분 이미지로 대체할 수 있는 효과를 제공할 수 있다. 이때 대체되는 추가회전 부분 이미지는 대체의 대상이 되는 기초회전 부분 이미지와는 대응되는 부분 이미지(즉, 동일한 방향에 해당하는 부분 이미지)일 수 있다.
예컨대 도 5a에서 제3방향(12)에서 획득한 제3부분 이미지(12-1)에 원치 않는 특징(예컨대, 특정 객체가 촬영)이 존재할 수 있다.
그러면 만약 상기 단말기(100)가 도 5b에 도시된 바와 같이 추가회전을 수행하여 기초회전과 동일한 n개의 방향(예컨대, 10 내지 15)에 대해, n개의 추가회전 부분 이미지들(예컨대, 10-2 내지 15-2)을 획득하였다면, 상기 특징이 존재하지 않는(예컨대, 특정 객체가 촬영되지 않은) 기초회전 제3부분 이미지(12-1)를 대체하여 추가회전 제3부분 이미지(12-2)를 정합에 이용할 수 있다.
즉, 기초회전 부분 이미지들(10-1 내지 15-1) 중 정합의 대상이 되는 기초회전 정합 대상 이미지는 상기 제3부분 이미지(12-1)를 제외한 기초회전 부분 이미지들(예컨대, 10-1, 11-1, 13-1, 14-1, 15-1)이 될 수 있다. 그리고 정합의 대상이 되는 추가회전 부분 이미지는 대체될 기초회전 부분 이미지인 기초회전 제3부분 이미지(12-1)에 대응되는 추가회전 부분 이미지(12-2)일 수 있다.
그러면 상기 기초회전 정합대상 이미지(예컨대, 10-1, 11-1, 13-1, 14-1, 15-1)와 추가회전 정합대상 이미지(예컨대, 12-2)가 정합된 결과 도 6에 도시된 바와 같은 정합 이미지가 생성될 수 있다.
만약 추가회전(예컨대, 두 번째 회전)을 통해 획득된 추가회전 제3부분 이미지(예컨대, 12-2)에도 상기 특징이 여전히 존재한다면 상기 단말기(100)는 다시 추가회전(예컨대, 세 번째 회전)을 수행할 수 있다. 어떠한 경우든 상기 특징이 존재하지 않는 추가회전 제3부분 이미지를 추가회전의 횟수에 무관하게 획득하고 이를 정합대상으로 할 수 있다.
예를 들어 만약 상기 특징이 전술한 바와 같이 특정 객체(예컨대, 사람)이 촬영되는 특징이고, 상기 단말기(100)가 상기 특징이 존재하는 기초회전 부분 이미지는 모두 정합대상에서 제외한다고 가정할 수 있다. 그러면 상기 기초회전 부분 이미지들 중에서 정합의 대상이 되는 부분 이미지들은 모두 상기 특징이 존재하지 않는 이미지들일 수 있다. 그리고 제외된 기초회전 부분 이미지 각각에 대응되는 추가회전 부분 이미지들은 상기 특징이 존재하지 않는 부분 이미지들일 수 있다. 이러한 방식으로 기초회전 부분 이미지들 중 상기 특징이 존재하지 않는 부분 이미지들 즉, 기초회전 정합대상 이미지와 추가회전 부분 이미지들 중 추가회전 정합대상 이미지가 정합되면 정합된 정합 이미지는 전 방향에서 상기 특징이 존재하지 않게 된다.
예를 들어 상기 단말기(100)가 특정 공간을 촬영한다고 가정하고 상기 특징은 사람이 촬영되는 것이라고 가정하면, 기초회전을 통해 특정 방향의 부분 이미지(예컨대, 12-1)에서 사람이 촬영되었다면, 상기 해당 특정 방향에 대해 사람이 촬영되지 않은 추가회전 부분 이미지(예컨대, 12-2)를 촬영하여 상기 추가회전 부분 이미지(예컨대, 12-2)를 사람이 촬영된 상기 기초회전 부분 이미지(예컨대, 12-1)와 대체할 수 있다. 그리고 대체된 기초회전 부분 이미지들(예컨대, 10-1. 11-1, 12-2, 13-1, 14-1, 15-1)을 정합하면, 상기 공간을 전방향 커버하는 정합 이미지가 생성되면서 어떠한 방향에서도 사람이 촬영되지 않는 특징을 갖게 될 수 있다.
기초회전 부분 이미지들 중에서 어떠한 특징을 가지는 부분 이미지가 정합대상에서 제외될지는 다양할 수 있다. 예컨대 전술한 바와 같이 특정 객체가 촬영된 것이 상기 특징일 수도 있고, 이와는 반대로 특정 객체가 촬영되지 않은 것이 상기 특징일 수도 있다. 구현 예에 따라 다양한 특징이 정의될 수 있고, 이러한 특징의 정의에 따라 정합 이미지가 커버하는 모든 방향에서 해당 특징이 존재하지 않는 정합 이미지를 생성할 수 있는 효과가 있다.
또한 상기 정합 이미지는 서로 다른 시간 대의 부분 이미지가 정합되어 새로운 시공간을 생성하는 효과를 가질 수 있다.
한편, 추가회전을 수행하면서, 도 5b에 도시된 바와 같이, 상기 단말기(100)는 추가회전 시에도 기초회전과 마찬가지로 n개의 방향들 각각에 해당하는 n개의 추가회전 부분 이미지들(예컨대, 10-2 내지 15-2)을 모두 촬영할 수도 있다.
그리고 전술한 바와 같이 상기 기초회전 부분 이미지에서 소정의 특징이 존재하는 기초회전 부분 이미지 즉, 제외 대상 부분 이미지(예컨대, 12-1)를 제외한 기초회전 정합대상 이미지(예컨대, 10-1. 11-1, 13-1, 14-1, 15-1)와 상기 n개의 추가회전 부분 이미지들(예컨대, 10-2 내지 15-2) 중에서 상기 제외 대상 부분 이미지(예컨대, 12-1)에 대응되는 이미지(예컨대, 12-2)인 상기 추가회전 정합대상 이미지가 정합될 수 있다.
즉, 추가회전에서도 상기 단말기(100)는 미리 정의된 n개의 방향 각각에 상응하는 n개의 이미지들을 모두 촬영할 수 있다.
그리고 이러한 경우에는 상기 단말기(100)는 기초회전에서 획득된 기초회전 부분 이미지들(예컨대, 10-1 내지 15-1)과 상기 기초회전 부분 이미지들 각각에 대응되는 추가회전 부분 이미지(예컨대, 10-2 내지 15-2)를 비교하여 상기 제외 대상이 되는 부분 이미지를 결정할 수도 있다.
예컨대, 기초회전에서 서로 다른 6개의 방향들에 대해 6개의 기초회전 부분 이미지들을 획득하고, 추가회전에서 서로 다른 6개의 방향들에 대해 6개의 추가회전 부분 이미지를 획득할 수 있다. 그리고 단말기(100)는 대응되는 각각의 부분 이미지들(예컨대, 10-1 및 10-2, 11-1 및 11-2 등)을 서로 비교할 수 있다. 그리고 비교결과가 미리 정해진 기준을 만족하는 경우에는 해당 방향의 기초회전 부분 이미지를 추가회전 부분 이미지로 대체할 수도 있다.
예컨대, 상기 단말기는 서로 대응되는 부분 이미지들의 차영상(differential image)를 획득하고 차영상을 이용하여 부분 이미지들의 차이가 일정 수준 이상인 경우 해당 방향의 기초회전 부분 이미지를 제외대상 부분 이미지로 판단할 수도 있다.
결국 제외대상 부분 이미지를 선택하기 위한 실시 예는 전술한 바와 같이 부분 이미지가 미리 정해진 특징을 가지고 있는지 여부에 기초할 수도 있지만, 대응되는 부분 이미지들의 비교에 의해 결정될 수도 있으며, 사용자가 직접 기초회전 부분 이미지 또는 추가회전 부분 이미지들 중에서 적어도 하나를 대체할(대체될) 부분 이미지로 선택할 수도 있다. 다양한 실시 예가 가능할 수 있다.
한편, 또 다른 실시 예에 의하면, 상기 단말기(100)는 반드시 추가회전을 통해 n방향 모두에 대해 추가회전 부분 이미지를 획득할 필요가 없을 수도 있다. 즉, 실시 예에 따라서는 기초회전 부분 이미지들 중에서 제외대상 부분 이미지에 대응되는 추가회전 부분 이미지만을 추가회전을 통해 획득할 수도 있다.
이러한 제외대상 부분 이미지의 결정은 상기 단말기(100)가 기초회전 부분 이미지들 각각을 분석하여 전술한 바와 같이 미리 정해진 특징을 갖는(만족하는) 부분 이미지가 어떤 것(n개의 방향중 어떤 방향) 인지를 판단함으로써 이루어질 수 있다.
또는 사용자에게 기초회전 부분 이미지들을 제공하고, 이에 응답하여 상기 기초회전 부분 이미지들 중에서 적어도 하나를 선택받을 수도 있다. 그러면 선택받은 기초회전 부분 이미지가 제외대상 부분 이미지로 선택될 수도 있다.
이처럼 제외대상 부분 이미지가 결정되면(즉, n개의 방향 중 제외대상 부분 이미지에 상응하는 방향이 결정되면), 상기 단말기(100)는 상기 단말기(100)가 상기 특정 방향으로 회전되도록 한 후 상기 방향에서의 추가회전 부분 이미지를 획득할 수 있다. 그리고 획득된 상기 추가회전 부분 이미지는 정합 이미지의 생성에 이용되는 상기 추가회전 정합대상 이미지가 될 수 있다.
n개의 방향 중 일부의 방향에서만 추가회전 부분 이미지를 선택적으로 획득하는 개념에 대한 일 예는 도 7 내지 도 9를 참조하여 설명하도록 한다.
도 7 내지 도 9는 본 발명의 다른 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.
우선 도 7을 참조하면, 상기 단말기(100)는 사용자에게 기초회전 부분 이미지들 중 전부(예컨대, 10-1 내지 15-1) 또는 일부를 제공할 수 있다. 사용자는 제공된 기초회전 부분 이미지들 중에서 적어도 하나를 제외대상 부분 이미지(예컨대, 12-1, 14-1)로 선택할 수 있다. 또는 상기 단말기(100)가 상기 기초회전 부분 이미지들 각각을 분석하여 소정의 특징이 있는 부분 이미지(예컨대, 12-1, 14-1)를 상기 제외대상 부분 이미지로 선택할 수도 있다.
그러면 상기 단말기(100)는 도 8에 도시된 바와 같이, 제외대상 부분 이미지에 상응하는 각각의 방향(예컨대, 12, 14)으로 선택적으로 회전을 수행할 수 있다. 그리고 회전된 각 방향(예컨대, 12, 14)에서만 추가회전 부분 이미지(12-3, 14-3)을 획득할 수도 있다. 즉, 이러한 경우 방향들(10, 11, 13, 15)에서는 추가회전 부분 이미지가 촬영되지 않을 수도 있다.
그러면 기초회전 부분 이미지들 중 제외대상 부분 이미지(12-1, 14-1)을 제외한 기초회전 정합대상 이미지(10-1, 11-1, 13-1, 15-1) 및 상기 제외대상 부분 이미지(12-1, 14-1)에 대응되는 추가회전 부분 이미지(12-3, 14-3)가 정합되어 정합 이미지가 생성될 수 있다.
한편, 정합 이미지가 커버하는 각도 및 n이 서로 다른 실시 예인 도 9에서도 전술한 바와 같은 기술적 사상이 적용되어, 서로 다른 회전에서 획득된 부분 이미지들이 하나의 정합 이미지에 포함될 수 있다.
즉, 도 9에서는 단말기(100)는 기초회전을 통해 12개의 방향에 대해 12개의 부분 이미지들을 획득할 수 있다. 그리고 추가회전을 통해 동일한 12개의 방향에 대해 12개의 추가회전 부분 이미지들을 전부 획득하거나, 기초회전 부분 이미지들 중 제외대상 부분 이미지에 대응되는 추가회전 부분 이미지(예컨대, 24-2, 29-2)만을 획득할 수도 있다.
그리고 기초회전 정합대상 이미지(21-1, 22-1, 23-1, 25-1, 26-1, 27-1, 28-1, 30-1, 31-1, 32-1)와 추가회전 정합대상 이미지(24-2, 29-2)가 정합되어 정합 이미지가 생성될 수 있다.
결국 본 발명의 기술적 사상에 따른 정합 이미지 생성방법에 의하면, 서로 다른 시간 대의 부분 이미지가 하나의 정합 이미지의 구성요소로 포함되어 새로운 시공간을 생성하는 효과를 가질 수 있다. 즉, 정합 이미지의 일부분은 제1시간대(시간구간)의 공간을 나타내고 나머지는 제1시간과는 다른 시간대의 공간을 나타내게 됨으로써 다양한 효과를 가져올 수 있다.
또한, 이처럼 새로운 시공간을 생성하는 효과를 갖는 정합 이미지의 생성방법은 반드시 구동장치(200)가 필요한 것은 아니다. 즉, 사람이 직접 소정의 가이드 또는 인터페이스를 통해 단말기(100)를 회전하는 경우에도 상술한 기술적 사상을 달성할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. 다만 구동장치(200)를 통해 회전각도의 제어가 정확하게 이루어짐으로써 이미지 정합의 성능(품질과 속도)가 훨씬 높아질 수 있음은 물론이다.
본 발명의 실시 예에 따른 정합 이미지 생성방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (16)

  1. 복수의 부분 이미지들이 정합되어 생성되는 정합 이미지 생성방법에 있어서,
    이미지 센서가 구비된 단말기가 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하는 단계;
    상기 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 회전촬영 단계; 및
    상기 단말기가 상기 n개의 방향에 대해 회전을 수행하여 기초회전을 수행한 후, 적어도 한 번의 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향 중 적어도 하나에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 단계를 포함하며,
    상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부인 기초회전 정합대상 이미지와 상기 추가회전 부분 이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 정합 이미지 생성방법.
  2. 제1항에 있어서, 상기 회전촬영 단계는,
    상기 단말기가 상기 구동장치가 제1방향에서 제2방향으로 회전되기 위한 각도 정보를 포함하는 커맨드를 상기 구동장치로 전송하는 단계를 포함하는 정합 이미지 생성방법.
  3. 제1항에 있어서, 상기 회전촬영 단계는,
    상기 단말기가 상기 구동장치를 회전시키는 단계;
    상기 단말기가 제1방향에서 제2방향으로 회전되었는지 센싱하는 단계 및
    상기 단말기가 상기 구동장치의 회전을 정지시키는 단계를 포함하는 정합 이미지 생성방법.
  4. 삭제
  5. 제1항에 있어서, 상기 적어도 하나의 추가회전 부분 이미지를 획득하는 단계는,
    상기 n개의 방향 각각에 상응하는 n개의 추가회전 부분이미지들을 획득하는 단계를 포함하며,
    상기 기초회전에서 획득된 상기 n개의 부분 이미지들 중에서, 소정의 방식으로 결정된 적어도 하나의 제외대상 부분 이미지를 제외한, 상기 기초회전 정합대상 이미지와,
    상기 n개의 추가회전 부분 이미지들 중에서 상기 제외대상 부분 이미지에 대응되는 이미지인 상기 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 정합 이미지 생성방법.
  6. 제5항에 있어서, 상기 제외대상 부분 이미지 및 상기 추가회전 정합대상 이미지 중 어느 하나는 미리 정해진 특정 객체가 촬영된 이미지이고,
    나머지 하나는 상기 특정 객체가 촬영되지 않은 이미지인 것을 특징으로 하는 정합 이미지 생성방법
  7. 제5항에 있어서, 상기 정합 이미지 생성방법은,
    상기 기초회전에서 획득된 기초회전 부분 이미지들과 상기 기초회전 부분 이미지들 각각에 대응되는 추가회전 부분 이미지를 비교하여 상기 대상 부분 이미지를 결정하는 단계를 더 포함하는 정합 이미지 생성방법.
  8. 제5항에 있어서, 상기 정합 이미지 생성방법은,
    사용자로부터 상기 제외대상 부분 이미지 또는 상기 제외대상 부분 이미지에 대응되는 추가회전 정합 이미지를 선택받는 단계를 더 포함하는 정합 이미지 생성방법.
  9. 제1항에 있어서, 상기 적어도 하나의 추가회전 부분 이미지를 획득하는 단계는,
    상기 n개의 방향 중 상기 추가회전에서 상기 추가회전 정합대상 이미지를 획득할 특정 방향을 판단하는 단계;
    판단결과에 기초하여 상기 단말기가 상기 특정 방향으로 회전된 후 상기 추가회전 정합대상 이미지를 획득하는 단계를 포함하는 정합 이미지 생성방법.
  10. 제9항에 있어서, 상기 n개의 방향 중 상기 추가회전에서 부분 이미지를 획득할 특정 방향을 판단하는 단계는,
    상기 기초회전을 통해 획득된 상기 n개의 부분 이미지들을 분석하는 단계;
    분석결과 미리 결정된 특징을 갖는 부분 이미지에 상응하는 상기 특정 방향을 판단하는 단계를 포함하는 정합 이미지 생성방법.
  11. 제9항에 있어서, 상기 n개의 방향 중 상기 추가회전에서 부분 이미지를 획득할 특정 방향을 판단하는 단계는,
    상기 기초회전을 통해 획득된 상기 n개의 부분 이미지들의 전부 또는 일부를 사용자에게 제공하는 단계;
    제공된 부분 이미지들 중 사용자로부터 선택된 부분 이미지에 상응하는 방향을 상기 특정 방향으로 판단하는 단계를 포함하는 정합 이미지 생성방법.
  12. 정합 이미지 생성방법에 있어서,
    이미지 센서가 구비된 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계;
    상기 기초회전이 수행된 후 상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며,
    상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 정합 이미지 생성방법.
  13. 정합 이미지 생성방법에 있어서,
    단말기가 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계;
    상기 기초회전이 수행된 후 상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며,
    상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 정합 이미지 생성방법.
  14. 데이터 처리장치에 설치되며 제1항 내지 제3항 및 제5항 내지 제13항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 기록된 컴퓨터 프로그램.
  15. 단말기에 있어서,
    프로세서를 포함하는 제어부;
    상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체; 및
    이미지 센서; 를 포함하며,
    상기 프로그램은,
    상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하고,
    상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하고,
    상기 단말기가 상기 n개의 방향에 대해 회전을 수행하여 기초회전을 수행한 후, 적어도 한 번의 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향 중 적어도 하나에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 것을 특징으로 하며,
    상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부인 기초회전 정합대상 이미지와 상기 추가회전 부분 이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 이미지 정합을 수행하는 단말기.
  16. 단말기에 있어서,
    프로세서를 포함하는 제어부;
    상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체; 및
    이미지 센서; 를 포함하며,
    상기 프로그램은,
    상기 단말기의 기초회전을 통해 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하고,
    상기 기초 회전이 수행된 후 상기 단말기의 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하며,
    상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 단말기.
KR1020170054601A 2017-04-27 2017-04-27 정합 이미지 생성방법 및 이를 수행하는 단말기 KR101936429B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170054601A KR101936429B1 (ko) 2017-04-27 2017-04-27 정합 이미지 생성방법 및 이를 수행하는 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170054601A KR101936429B1 (ko) 2017-04-27 2017-04-27 정합 이미지 생성방법 및 이를 수행하는 단말기

Publications (2)

Publication Number Publication Date
KR20180120515A KR20180120515A (ko) 2018-11-06
KR101936429B1 true KR101936429B1 (ko) 2019-01-08

Family

ID=64329434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170054601A KR101936429B1 (ko) 2017-04-27 2017-04-27 정합 이미지 생성방법 및 이를 수행하는 단말기

Country Status (1)

Country Link
KR (1) KR101936429B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263656A (ja) * 2004-04-16 2010-11-18 Sony Corp 撮像装置及び撮像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263656A (ja) * 2004-04-16 2010-11-18 Sony Corp 撮像装置及び撮像方法

Also Published As

Publication number Publication date
KR20180120515A (ko) 2018-11-06

Similar Documents

Publication Publication Date Title
CN107208836B (zh) 用于支持具有不同效果的摄影术的系统和方法
WO2019242418A1 (zh) 相机定位方法、装置、终端及存储介质
KR102155895B1 (ko) 객체를 추적하여 영상을 수신하는 방법 및 장치
CN105141942B (zh) 3d图像合成方法及装置
KR102187621B1 (ko) 가상현실 3d 멀티디스플레이 기반의 내부 공간 확장이 가능한 이동형 체험 서비스 제공 차량
US10896513B2 (en) Method and apparatus for surveillance using location-tracking imaging devices
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
JP7400882B2 (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
US20190197666A1 (en) Receiving and displaying sensor data on a substantially spherical surface of a display device
US20220264004A1 (en) Generation of an image that is devoid of a person from images that include the person
KR101936429B1 (ko) 정합 이미지 생성방법 및 이를 수행하는 단말기
US11195295B2 (en) Control system, method of performing analysis and storage medium
KR101520944B1 (ko) 이동형 3d 멀티디스플레이 기반의 실감형 교육 서비스 제공 차량
KR101963449B1 (ko) 360°비디오 생성 시스템 및 방법
KR100689287B1 (ko) 바닥센서부를 이용한 강사추적카메라시스템
KR20190061166A (ko) 360도 이미지 생성방법 및 이를 수행하는 단말기
EP3805899A1 (en) Head mounted display system and scene scanning method thereof
WO2020017600A1 (ja) 表示制御装置、表示制御方法及びプログラム
KR20140136278A (ko) 스마트폰을 이용한 ptz 감시 장치 및 감시 시스템
KR20190061165A (ko) 광고를 포함하는 360°비디오 생성 시스템 및 방법
KR102096883B1 (ko) 광고 제공방법 및 이를 수행하는 시스템
US10999495B1 (en) Internet of things-based indoor selfie-supporting camera system
US7940632B2 (en) Recording medium, data use limitating method, and program
KR101976843B1 (ko) 렌즈 파라미터의 보정방법 및 이를 수행하는 단말기
KR20200010825A (ko) 360 이미지를 이용한 광고 방법 및 이를 수행하는 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant