KR102604261B1 - 이미지 처리 장치 및 이미지 처리 장치의 제어 방법 - Google Patents

이미지 처리 장치 및 이미지 처리 장치의 제어 방법 Download PDF

Info

Publication number
KR102604261B1
KR102604261B1 KR1020160126977A KR20160126977A KR102604261B1 KR 102604261 B1 KR102604261 B1 KR 102604261B1 KR 1020160126977 A KR1020160126977 A KR 1020160126977A KR 20160126977 A KR20160126977 A KR 20160126977A KR 102604261 B1 KR102604261 B1 KR 102604261B1
Authority
KR
South Korea
Prior art keywords
area
display
processing device
image
image processing
Prior art date
Application number
KR1020160126977A
Other languages
English (en)
Other versions
KR20180036408A (ko
Inventor
김호선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160126977A priority Critical patent/KR102604261B1/ko
Priority to US15/710,302 priority patent/US20180096452A1/en
Publication of KR20180036408A publication Critical patent/KR20180036408A/ko
Application granted granted Critical
Publication of KR102604261B1 publication Critical patent/KR102604261B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명의 일 실시 예에 따른 이미지 처리 장치는, 전방위 피사체가 분할되어 촬영된 복수의 분할 이미지 중 스티칭될 영역을 선택하는 스티칭 영역 선택 모듈; 및 상기 복수의 분할 이미지의 선택된 영역의 경계를 스티칭하여 파노라마(panorama) 이미지를 생성하는 스티칭 모듈;을 포함할 수 있다.
이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

이미지 처리 장치 및 이미지 처리 장치의 제어 방법{IMAGE PROCESSING APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 분할 이미지의 선택된 영역을 스티칭(stitching)하여 파노라마(panorama) 이미지를 생성하는 이미지 처리 장치 및 이미지 처리 장치의 제어 방법에 관한 것이다.
가상 현실(virtual reality)은 전자 장치를 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황을 말한다. 사용자는 가상 현실을 통하여 감각 기관으로 느끼고, 상호 작용함으로써 실제와 유사한 감각적 체험을 할 수 있다.
가상 현실 기술은 스마트폰, 태블릿 PC 등과 같은 모바일 기기가 일반화됨으로써 다양하고 쉽게 접할 수 있다. 최근에는 웨어러블 장치(wearable device)가 상용화됨에 따라 가상 현실 기술에 관한 연구가 더욱 활발해 지고 있다.
가상 현실을 구현하기 위한 웨어러블 장치로 HMD(head mounted display)와 같은 머리 장착형의 웨어러블 장치가 있다. HMD는 가상 현실을 제공하는 시클로즈드(see-closed) 형태로 영상을 제공할 수 있다. 가상 현실을 구현하기 위한 영상은 전방위 피사체를 촬영하여 제작될 수 있다.
전방위 피사체를 분할하여 촬영하고 복수의 분할 이미지를 스티칭(stitching)하여 파노라마(panorama) 이미지를 생성할 때, 복수의 분할 이미지 중 사용자가 원하지 않는 피사체가 포함된 영역이나 디스플레이에 표시되지 않을 영역까지 스티칭함으로써 사용자가 원하는 이미지가 실시간으로 디스플레이에 표시되지 않을 수 있다.
본 발명의 다양한 실시 예는 복수의 분할 이미지를 효율적으로 스티칭하여 파노라마 이미지를 생성하는 이미지 처리 장치 및 이미지 처리 장치의 제어 방법을 제공한다.
본 발명에 따른 이미지 처리 장치는, 전방위 피사체가 분할되어 촬영된 복수의 분할 이미지 중 스티칭될 영역을 선택하는 스티칭 영역 선택 모듈; 및 상기 복수의 분할 이미지의 선택된 영역의 경계를 스티칭하여 파노라마(panorama) 이미지를 생성하는 스티칭 모듈;을 포함할 수 있다.
본 발명에 따른 이미지 처리 장치의 제어 방법은, 전방위 피사체가 분할되어 촬영된 복수의 분할 이미지 중 스티칭될 영역을 선택하는 동작; 및 상기 복수의 분할 이미지의 선택된 영역의 경계를 스티칭하여 파노라마(panorama) 이미지를 생성하는 동작;을 포함할 수 있다.
본 발명에 따른 컴퓨터 판독 가능 기록매체는, 전방위 피사체가 분할되어 촬영된 복수의 분할 이미지 중 스티칭될 영역을 선택하는 동작; 및 상기 복수의 분할 이미지의 선택된 영역의 경계를 스티칭하여 파노라마(panorama) 이미지를 생성하는 동작;을 포함하는 방법을 수행할 수 있다.
본 발명의 이미지 처리 장치 및 이미지 처리 장치의 제어 방법은 카메라 장치로부터 생성된 복수의 분할 이미지 중 스티칭될 영역을 선택하고, 상기 복수의 분할 이미지의 선택된 영역을 스티칭하여 효율적으로 파노라마 이미지를 생성함으로써, 파노라마 이미지 중 사용자가 원하는 영역을 디스플레이에 실시간으로 표시할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 가상 현실 시스템을 나타낸 도면이다.
도 2는 본 발명의 다양한 실시 예에 따른 이미지 처리 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 다양한 실시 예에 따른 이미지 처리 장치의 프로세서의 구성을 나타낸 블록도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 복수의 분할 이미지를 나타낸 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 전방위 이미지를 나타낸 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 복수의 분할 이미지를 나타낸 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 전방위 이미지를 나타낸 도면이다.
도 8은 본 발명의 다양한 실시 예에 따른 디스플레이에 표시된 이미지를 나타내는 도면이다.
도 9는 본 발명의 다양한 실시 예에 따른 이미지 처리 장치의 제어 방법을 나타낸 흐름도이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 다양한 실시 예에 따른 가상 현실 시스템을 나타낸 도면이다.
도 1을 참조하면, 가상 현실 시스템(1000)은 카메라 장치(100) 및 이미지 처리 장치(200)를 포함할 수 있다.
카메라 장치(100)는 카메라 장치(100)를 중심으로 전방위 피사체를 촬영하여 이미지를 생성할 수 있다. 예를 들어, 카메라 장치(100)는 복수의 광학 모듈을 포함할 수 있다. 상기 복수의 광학 모듈은 지정된 각도에 따라서 전방위 피사체를 분할하여 촬영할 수 있다. 상기 복수의 광학 모듈의 촬영 범위는, 예를 들어, 일부분이 서로 중복될 수 있다. 상기 촬영 범위의 일부분을 중복시킴으로써, 카메라 장치(100)는 전방위 피사체를 안정적으로 촬영할 수 있다. 이에 따라, 카메라 장치(100)는 전방위 피사체를 분할하여 촬영한 복수의 분할 이미지를 생성할 수 있다.
일 실시 예에 따르면, 카메라 장치(100)가 분할하여 촬영한 이미지는 구면 형태의 분할 이미지일 수 있다. 예를 들어, 상기 구면 형태의 분할 이미지는 스프레딩(spreading)되어 평면 형태의 분할 이미지가 될 수 있다. 상기 평면 형태의 분할 이미지는 스티칭(stitching)되어 파노라마(panorama) 이미지가 될 수 있다.
일 실시 예에 따르면, 카메라 장치(100)는 상기 복수의 분할 이미지를 이미지 처리 장치(200)로 송신할 수 있다. 예를 들어, 카메라 장치(100)는 무선 통신 모듈(예: Wi-Fi(wireless- fidelity) 모듈, Bluetooth 모듈, NFC(near field communication) 모듈)을 통하여 상기 복수의 분할 이미지를 이미지 처리 장치(200)로 송신할 수 있다. 다른 예를 들어, 카메라 장치(100)는 유선 통신 모듈(예: UART(universal asynchronous receiver/transmitter) 모듈, RS232 모듈, SPI(serial peripheral interconnect) 모듈)을 통하여 상기 복수의 분할 이미지를 이미지 처리 장치(200)로 송신할 수 있다.
이미지 처리 장치(200)는 카메라 장치(100)로부터 상기 구면 형태의 복수의 분할 이미지를 수신하여 하나의 파노라마(panorama) 이미지를 생성할 수 있다. 예를 들어, 이미지 처리 장치(200)는 상기 구면 형태의 복수의 분할 이미지를 스프레딩하여 평면 형태의 복수의 분할 이미지를 생성할 수 있다. 이미지 처리 장치(200)는 상기 평면 형태의 복수의 분할 이미지의 경계를 스티칭하여 전방위 피사체를 촬영한 하나의 파노라마 이미지를 생성할 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 상기 평면 형태의 복수의 분할 이미지 중 스티칭될 영역를 선택하여 평면 형태의 파노라마 이미지를 생성할 수 있다. 예를 들어, 이미지 처리 장치(200)는 상기 평면 형태의 복수의 분할 이미지 중 지정된 영역을 제외한 영역을 선택하여 스티칭할 수 있다. 다른 예를 들어, 이미지 처리 장치(200)는 상기 평면 형태의 복수의 분할 이미지 중 디스플레이에 표시될 영역에 기초하여 상기 평면 형태의 복수의 분할 이미지 중 일부 영역을 선택하여 스티칭할 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 상기 평면 형태의 파노라마 이미지를 구면 형태의 파노라마 이미지로 변경할 수 있다. 이미지 처리 장치(200)는 사용자의 입력을 받거나 사용자의 움직임을 감지하여 상기 구면 형태의 파노라마 이미지 중 일부 영역을 선택할 수 있고, 상기 선택된 영역은 디스플레이에 표시될 수 있다. 예를 들어, 이미지 처리 장치(200)는 사용자가 몸에 착용할 수 있는 웨어러블 장치(wearable device)(예: HMD(head mounted display))일 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 파노라마 이미지를 시간의 순서에 따라서 배치하여 비디오 이미지를 생성할 수 있다. 상기 파노라마 이미지는 비디오 이미지의 프레임을 구성할 수 있다. 이미지 처리 장치(200)는 비디오 이미지의 프레임을 구성하는 파노라마 이미지 중 선택된 영역을 디스플레이에 표시할 수 있다.
일 실시 예에 따르면, 가상 현실 시스템(1000)은 별도로 디스플레이 장치를 포함할 수 있다. 상기 디스플레이 장치는 외부 장치로부터 파노라마 이미지를 수신하고, 상기 수신된 파노라마 이미지 중 선택된 영역을 디스플레이에 표시할 수 있다. 예를 들어, 상기 디스플레이 장치는 이미지 처리 장치(200)로부터 생성된 파노라마 이미지를 수신할 수 있다. 상기 생성된 파노라마 이미지는, 예를 들어, 평면 형태의 파노라마 이미지일 수 있다. 다른 예를 들어, 상기 디스플레이 장치는 카메라 장치(100)로부터 생성된 파노라마 이미지를 수신할 수 있다. 상기 카메라 장치(100)는, 예를 들어, 이미지 처리 장치(200)와 동일하게 파노라마 이미지를 생성할 수 있고, 상기 생성된 파노라마 이미지를 상기 디스플레이 장치로 송신할 수 있다.
이에 따라, 가상 현실 시스템(1000)은 카메라 장치(100)에서 촬영된 복수의 분할 이미지를 이미지 처리 장치(200)에서 처리하여 파노라마 이미지를 생성하고, 상기 파노라마 이미지의 일부를 디스플레이에 표시함으로써 가상 현실(virtual reality)을 구현할 수 있다.
도 2는 본 발명의 다양한 실시 예에 따른 이미지 처리 장치의 구성을 나타낸 블록도이다.
도 2를 참조하면, 이미지 처리 장치(200)는 통신 모듈(210), 메모리(220), 입력 모듈(230), 센서 모듈(240), 디스플레이(250) 및 프로세서(260)를 포함할 수 있다.
통신 모듈(210)은 무선 통신 모듈 및 유선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신 모듈(210)은 카메라 장치(100)와 유선 또는 무선으로 연결되어 복수의 분할 이미지를 수신할 수 있다. 예를 들어, 상기 무선 통신 모듈은 카메라 장치(100)와 무선으로 연결되어 구면 형태의 복수의 분할 이미지를 수신할 수 있다. 상기 무선 통신 모듈은, 예를 들어, Wi-Fi 모듈, Bluetooth 모듈 또는 NFC 모듈을 포함할 수 있다. 다른 예를 들어, 상기 유선 통신 모듈은 카메라 장치(100)와 유선으로 연결될 수 있다. 상기 유선 통신 모듈은, 예를 들어, UART 모듈, RS232 모듈 또는 SPI 모듈을 포함할 수 있다.
메모리(220)는 복수의 분할 이미지 중 스티칭될 영역을 선택하기 위한 정보를 저장할 수 있다. 예를 들어, 상기 스티칭될 영역을 선택하기 위한 정보는 평면 형태의 복수의 분할 이미지에서 지정된 영역을 선택하기 위한 정보를 포함할 수 있다. 상기 지정된 영역이 저장된 메모리(220)는, 예를 들어, 플래시 메모리(flash memory), 하드 디스크(hard disk) 등과 같은 비휘발성 메모리일 수 있다.
입력 모듈(230)은 사용자의 입력 정보를 생성할 수 있다. 사용자는 입력 모듈(230)을 통하여 파노라마 이미지 중 디스플레이(250)에 표시될 영역을 선택하는 입력을 할 수 있다. 상기 파노라마 이미지는, 예를 들어, 평면 형태의 파노라마 이미지일 수 있다. 입력 모듈(230)은 상기 사용자의 입력에 대응되는 정보를 생성할 수 있다.
센서 모듈(240)은 사용자의 움직임을 감지할 수 있다. 예를 들어, 센서 모듈(240)은 사용자의 움직임을 감지할 수 있는 모션 센서(motion sensor)일 수 있다.
일 실시 예에 따르면, 센서 모듈(240)은 평면 형태의 파노라마 이미지 중 디스플레이(250)에 표시될 영역을 선택하기 위하여 사용자의 움직임을 감지할 수 있다. 센서 모듈(240)은 상기 사용자의 움직임에 대응되는 정보를 생성할 수 있다. 예를 들어, 센서 모듈(240)은 사용자의 머리의 정면이 움직이는 방향을 감지하고, 상기 움직이는 방향에 대응되는 정보를 생성할 수 있다.
일 실시 예에 따르면, 센서 모듈(240)은 평면 형태의 복수의 분할 이미지 중 스티칭될 영역을 선택하기 위하여 사용자의 움직임을 감지할 수 있다. 센서 모듈(240)은 상기 사용자의 움직임에 대응되는 정보를 생성할 수 있다. 예를 들어, 센서 모듈(240)은 사용자의 움직임의 속도 및 방향을 감지하고, 상기 움직임의 속도 및 방향에 대응되는 정보를 생성할 수 있다.
디스플레이(250)는 파노라마 이미지 중 선택된 영역을 표시할 수 있다. 상기 파노라마 이미지 중 선택된 영역은 입력 모듈(230) 및 센서 모듈(240)을 통하여 생성된 정보에 기초하여 선택된 구면 형태의 파노라마 이미지 중 일부 영역일 수 있다.
프로세서(260)은 이미지 처리 장치(200)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(260)는 통신 모듈(210), 메모리(220), 입력 모듈(230), 센서 모듈(240) 및 디스플레이(250)를 제어하여 복수의 분할 이미지의 선택된 영역을 스티칭한 파노라마 이미지를 생성하고, 상기 생성된 파노라마 이미지 중 선택된 영역을 디스플레이(250)에 표시할 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 적어도 하나의 프로세서(260)를 포함할 수 있다. 예를 들어, 이미지 처리 장치(200)는 적어도 하나의 기능을 수행할 수 있는 복수의 프로세서(260)를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(260)는 CPU(central processing unit), GPU(graphic processing unit), 메모리 등을 포함하는 SoC(system on chip)으로 구현될 수도 있다.
일 실시 예에 따르면, 도 1의 가상 현실 시스템(1000)은 별도의 디스플레이 장치를 포함할 수 있다. 예를 들어, 상기 디스플레이 장치는 이미지 처리 장치(200)로부터 파노라마 이미지를 수신하고, 사용자의 입력을 받거나 사용자의 움직임을 감지하여 상기 수신된 파노라마 이미지 중 선택된 영역을 디스플레이에 표시할 수 있다. 상기 디스플레이 장치는 사용자의 입력 정보를 생성하거나 사용자의 움직임을 감지하여 상기 파노라마 이미지 중 디스플레이에 표시된 영역을 선택할 수 있다. 이미지 처리 장치(200)는, 예를 들어, 통신 모듈(210)을 통하여 디스플레이에 표시될 영역에 대한 정보를 수신할 수 있다.
도 3은 본 발명의 다양한 실시 예에 따른 이미지 처리 장치의 프로세서의 구성을 나타낸 블록도이다.
도 3을 참조하면, 프로세서(260)는 표시 영역 선택 모듈(261), 스티칭 영역 선택 모듈(263) 및 스티칭 모듈(265)를 포함할 수 있다.
표시 영역 선택 모듈(261)은 구면 형태의 파노라마 이미지 중 디스플레이(250)에 표시될 영역을 선택할 수 있다. 예를 들어, 표시 영역 선택 모듈(261)은 입력 모듈(230)로부터 사용자의 입력에 대응되는 정보를 수신하고, 상기 사용자의 입력에 기초하여 구면 형태의 파노라마 이미지 중 디스플레이(250)에 표시될 영역을 선택할 수 있다. 다른 예를 들어, 표시 영역 선택 모듈(261)은 센서 모듈(240)로부터 사용자의 움직임에 대응되는 정보를 수신하고, 상기 사용자의 움직임에 기초하여 구면 형태의 파노라마 이미지 중 디스플레이(250)에 표시될 영역을 선택할 수 있다.
일 실시 예에 따르면, 표시 영역 선택 모듈(261)은 구면 형태의 파노라마 이미지 중 디스플레이(250)에 표시될 영역에 대한 정보를 생성할 수 있다. 표시 영역 선택 모듈(261)은 상기 디스플레이(250)에 표시될 영역에 대한 정보를 스티칭 영역 선택 모듈(263)로 전송할 수 있다.
스티칭 영역 선택 모듈(263)은 카메라 장치(100)로부터 수신된 구면 형태의 복수의 분할 이미지를 스프레딩하여 평면 형태의 복수의 분할 이미지로 변경할 수 있다.
일 실시 예에 따르면, 스티칭 영역 선택 모듈(263)은 상기 평면 형태의 복수의 분할 이미지 중 스티칭될 영역을 선택할 수 있다. 스티칭 영역 선택 모듈(263)은 상기 평면 형태의 복수의 분할 이미지 중 스티칭될 영역을 스티칭 모듈(265)로 전송할 수 있다.
예를 들어, 스티칭 영역 선택 모듈(263)은 메모리(220)로부터 상기 스티칭될 영역을 선택하기 위한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 스티칭될 영역을 선택할 수 있다. 상기 스티칭될 영역에 대한 정보는, 예를 들어, 상기 평면 형태의 복수의 분할 이미지의 지정된 영역에 대한 정보를 포함할 수 있다. 상기 지정된 영역은 파노라마 이미지의 하단부의 지정된 영역에 대응되는 영역을 제외한 영역일 수 있다.
다른 예를 들어, 스티칭 영역 선택 모듈(263)은 표시 영역 선택 모듈(261)로부터 디스플레이(250)에 표시될 영역에 대한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 스티칭될 영역을 선택할 수 있다. 상기 스티칭될 영역은 상기 디스플레이(250)에 표시될 영역 및 상기 디스플레이(250)에 표시될 영역에 인접한 지정된 영역을 선택할 수 있다. 상기 인접한 지정된 영역은, 예를 들어, 상기 인접한 지정된 영역은 사용자의 움직임을 고려하지 않고 일정하게 선택된 영역일 수 있다. 상기 인접한 지정된 영역은, 다른 예를 들어, 센서 모듈(240)로부터 수신된 사용자의 움직임 정보에 기초하여 결정될 수 있다. 상기 사용자의 움직임 정보는 사용자의 속도 및 방향에 대한 정보일 수 있고, 스티칭 영역 선택 모듈(263)은 상기 사용자의 속도 및 방향에 기초하여 상기 지정된 영역의 모양 및 크기 중 적어도 하나를 결정할 수 있다. 스티칭 영역 선택 모듈(263)은 사용자의 움직임의 속도에 비례하여 상기 지정된 영역의 크기를 결정할 수 있다.
스티칭 모듈(265)은 상기 평면 형태의 복수의 분할 이미지의 선택된 영역을 스티칭하여 평면 형태의 파노라마 이미지를 생성할 수 있다. 프로세서(260)는 상기 평면 형태의 파노라마 이미지를 구면 형태의 파노라마 이미지로 변경할 수 있다. 표시 영역 선택 모듈(261)은 상기 구면 형태의 파노라마 이미지 중 디스플레이(250)에 표시된 이미지를 선택할 수 있다.
이에 따라, 프로세서(260)는 복수의 분할 이미지에서 스티칭될 영역을 선택하고 상기 복수의 분할 이미지의 선택된 영역을 스티칭하여 파노라마 이미지를 생성할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 복수의 분할 이미지를 나타낸 도면이다.
도 4a를 참조하면, 카메라 장치(100)는 전방위 피사체를 촬영하여 구면 형태의 복수의 분할 이미지(400)를 생성할 수 있다. 예를 들어, 카메라 장치(100)는 제1 광학 모듈 및 제2 광학 모듈을 포함하고, 상기 제1 광학 모듈 및 상기 제2 광학 모듈은 제1 구면 형태의 분할 이미지(410) 및 제2 구면 형태의 분할 이미지(420)를 각각 생성할 수 있다.
도 4b를 참조하면, 이미지 처리 장치(200)는 구면 형태의 복수의 분할 이미지(400)를 수신하고, 구면 형태의 복수의 분할 이미지(400)를 스프레딩하여 평면 형태의 복수의 분할 이미지(400´)를 생성할 수 있다. 예를 들어, 평면 형태의 복수의 분할 이미지(400´)는 제1 평면 형태의 분할 이미지(410´) 및 제2 평면 형태의 분할 이미지(420´)를 포함할 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 평면 형태의 복수의 분할 이미지(400´)에서 지정된 영역을 스티칭될 영역으로 선택할 수 있다. 예를 들어, 이미지 처리 장치(200)는 메모리(220)로부터 상기 지정된 영역에 대한 정보를 수신할 수 있다. 상기 지정된 영역은, 예를 들어, 카메라 장치(100)의 지지대가 촬영되어 표시된 영역일 수 있다. 카메라 장치(100)의 지지대가 촬영되어 표시된 영역은 제1 평면 형태의 분할 이미지(410´) 및 제2 평면 형태의 분할 이미지(420´)의 하단부(430)일 수 있다. 이에 따라, 이미지 처리 장치(200)는 제1 평면 형태의 분할 이미지(410´) 및 제2 평면 형태의 분할 이미지(420´)의 하단부(430)를 제외한 영역을 상기 지정된 영역으로 선택할 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 전방위 이미지를 나타낸 도면이다.
도 5a를 참조하면, 이미지 처리 장치(200)는 제1 평면 형태의 분할 이미지(410´) 및 제2 평면 형태의 분할 이미지(420´)에서 상기 선택된 영역을 스티칭하여 평면 형태의 파노라마 이미지(500)를 형성할 수 있다. 예를 들어, 이미지 처리 장치(200)는 파노라마 이미지(500)의 지정된 영역을 제외하고 스티칭될 수 있다. 상기 지정된 영역은, 예를 들어, 카메라 장치(100)의 지지대가 촬영된 평면 형태의 파노라마 이미지(500)의 하단부(510)일 수 있다. 평면 형태의 파노라마 이미지(500)의 하단부(510)는 제1 평면 형태의 분할 이미지(410´) 및 제2 평면 형태의 분할 이미지(420´)의 하단부(430)와 대응된 부분일 수 있다.
일 실시 예에 따르면, 평면 형태의 파노라마 이미지(500)는 디스플레이(250)에 표시될 영역(520)을 포함할 수 있다. 디스플레이(250)에 표시될 영역(520)은 사용자의 입력 정보나 사용자의 움직임 정보에 기초하여 선택될 수 있다.
도 5b를 참조하면, 이미지 처리 장치(200)는 평면 형태의 파노라마 이미지(500)를 구면 형태의 파노라마 이미지(500´)로 변경할 수 있다. 예를 들어, 구면 형태의 파노라마 이미지(500´)의 지정된 영역은 스티칭되지 않을 수 있다. 상기 지정된 영역은, 예를 들어, 구면 형태의 파노라마 이미지(500´)의 하단부(510´)일 수 있다. 구면 형태의 파노라마 이미지(500´)의 하단부(510´)는 평면 형태의 파노라마 이미지(500)의 하단부(510)와 대응되는 부분일 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 구면 형태의 파노라마 이미지(500´) 중 디스플레이(250)에 표시될 영역(520´)을 선택할 수 있다. 예를 들어, 이미지 처리 장치(200)는 사용자의 입력 정보나 사용자의 움직임 정보에 기초하여 디스플레이(250)에 표시될 영역(520´)을 선택할 수 있다.
이에 따라, 이미지 처리 장치(200)는 평면 형태의 복수의 분할 이미지(400´) 중 지정된 영역을 일률적으로 선택하고, 상기 선택된 영역을 스티칭하여 파노라마 이미지(500, 500´)를 생성할 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 복수의 분할 이미지를 나타낸 도면이다.
도 6a를 참조하면, 카메라 장치(100)는 전방위 피사체를 촬영하여 구면 형태의 복수의 분할 이미지(600)를 생성할 수 있다. 카메라 장치(100)는 제1 광학 모듈 및 제2 광학 모듈을 포함하고, 상기 제1 광학 모듈 및 상기 제2 광학 모듈은 제1 구면 형태의 분할 이미지(610) 및 제2 구면 형태의 분할 이미지(620)를 각각 생성할 수 있다.
도 6b를 참조하면, 이미지 처리 장치(200)는 구면 형태의 복수의 분할 이미지(600)를 수신하고, 구면 형태의 복수의 분할 이미지(600)를 스프레딩하여 평면 형태의 복수의 분할 이미지(600´)를 생성할 수 있다. 예를 들어, 평면 형태의 복수의 분할 이미지(600´)는 제1 평면 형태의 분할 이미지(610´) 및 제2 평면 형태의 분할 이미지(620´)를 포함할 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 디스플레이(250)에 표시될 영역(630)에 대한 정보에 기초하여 스티칭될 영역을 선택할 수 있다. 예를 들어, 이미지 처리 장치(200)는 평면 형태의 복수의 분할 이미지(600´) 중 상기 디스플레이(250)에 표시될 영역 및 상기 디스플레이(250)에 표시될 영역(630)에 인접한 지정된 영역을 선택할 수 있다. 상기 지정된 영역은, 예를 들어, 사용자의 움직임을 고려하지 않고 선택된 영역일 수 있다. 상기 지정된 영역은, 다른 예를 들어, 사용자의 움직임을 기초로 선택된 영역일 수 있다. 이에 따라, 이미지 처리 장치(200)는 상기 디스플레이(250)에 표시될 영역을 포함하고, 제1 평면 형태의 분할 이미지(610´) 및 제2 평면 형태의 분할 이미지(620´)의 상단부(640) 및 하단부(650)를 제외한 영역일 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 전방위 이미지를 나타낸 도면이다.
도 7a를 참조하면, 이미지 처리 장치(200)는 제1 평면 형태의 분할 이미지(610´) 및 제2 평면 형태의 분할 이미지(620´)에서 상기 선택된 영역을 스티칭하여 평면 형태의 파노라마 이미지(700)를 형성할 수 있다. 예를 들어, 이미지 처리 장치(200)는 평면 형태의 파노라마 이미지(700)의 지정된 영역을 제외하고 스티칭될 수 있다. 상기 지정된 영역은, 예를 들어, 평면 형태의 파노라마 이미지(700)의 상단부(710) 및 하단부(720)일 수 있다. 평면 형태의 파노라마 이미지(700)의 상단부(710) 및 하단부(720)는 제1 평면 형태의 분할 이미지(610´) 및 제2 평면 형태의 분할 이미지(620´)의 상단부(640) 및 하단부(650) 각각과 대응된 부분일 수 있다.
일 실시 예에 따르면, 평면 형태의 파노라마 이미지(700)는 디스플레이(250)에 표시될 영역(730)을 포함할 수 있다. 디스플레이(250)에 표시될 영역(730)은 사용자의 입력 정보나 사용자의 움직임 정보에 기초하여 선택될 수 있다.
도 7b를 참조하면, 평면 형태의 파노라마 이미지(700)를 구면 형태의 파노라마 이미지(700´)로 변경할 수 있다. 예를 들어, 구면 형태의 파노라마 이미지(700´)의 지정된 영역은 스티칭되지 않을 수 있다. 상기 지정된 영역은, 예를 들어, 구면 형태의 파노라마 이미지(700´)의 상단부(710´) 및 하단부(720´)일 수 있다. 구면 형태의 파노라마 이미지(700´)의 상단부(710´) 및 하단부(720´)는 평면 형태의 파노라마 이미지(700)의 상단부(710) 및 하단부(720)와 대응되는 부분일 수 있다.
일 실시 예에 따르면, 이미지 처리 장치(200)는 구면 형태의 파노라마 이미지(700´) 중 디스플레이(250)에 표시될 영역(720´)을 선택할 수 있다. 예를 들어, 이미지 처리 장치(200)는 사용자의 입력 정보나 사용자의 움직임 정보에 기초하여 디스플레이(250)에 표시될 영역(720´)을 선택할 수 있다.
이에 따라, 이미지 처리 장치(200)는 평면 형태의 복수의 분할 이미지(600´) 중 디스플레이(250)에 표시될 영역(630) 및 상기 디스플레이(250)에 표시될 영역(630)에 인접한 지정된 영역을 선택하고, 상기 선택된 영역을 스티칭 하여 파노라마 이미지(700, 700´)를 생성할 수 있다.
도 8은 본 발명의 다양한 실시 예에 따른 디스플레이에 표시된 이미지를 나타내는 도면이다.
도 8을 참조하면, 이미지 처리 장치(200)는 사용자의 입력 정보나 사용자의 움직임 정보에 기초하여 구면 형태의 파노라마 이미지에서 선택된 복수의 표시 이미지(800)를 디스플레이(250)에 표시할 수 있다. 복수의 표시 이미지(800)은 제1 표시 이미지(810) 및 제2 표시 이미지(820)를 포함할 수 있다. 제1 표시 이미지(810) 및 제2 표시 이미지(820)는 유사할 수 있고, 사용자의 시야에 맞추어 상이할 수 있다.
도 1 내지 도 8을 참조하여 설명한 본 발명의 다양한 실시 예에 따르면, 이미지 처리 장치(200)는 카메라 장치(100)로부터 생성된 복수의 분할 이미지 중 스티칭될 영역을 선택하고, 상기 복수의 분할 이미지의 선택된 영역을 스티칭하여 파노라마 이미지를 효율적으로 생성함으로써, 상기 파노라마 이미지 중 사용자가 원하는 영역을 디스플레이(250)에 실시간으로 표시할 수 있다.
도 9는 본 발명의 다양한 실시 예에 따른 이미지 처리 장치의 제어 방법을 나타낸 흐름도이다.
도 9에 도시된 흐름도는 상술한 이미지 처리 장치(200)에서 처리되는 동작들로 구성될 수 있으며, 파노라마 이미지를 생성하기 위한 이미지 처리 장치(200)의 제어 방법을 나타낸다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 8을 참조하여 이미지 처리 장치(200)에 관하여 기술된 내용은 도 9에 도시된 흐름도에서 적용될 수 있다.
일 실시 예에 따르면, 910 동작에서, 이미지 처리 장치(200)는 복수의 분할 이미지 중 스티칭될 영역을 선택할 수 있다. 예를 들어, 이미지 처리 장치(200)는 상기 복수의 분할 이미지에서 지정된 영역을 선택할 수 있다. 다른 예를 들어, 이미지 처리 장치(200)는 파노라마 이미지 중 디스플레이(250)에 표시될 영역에 기초하여 상기 복수의 분할 이미지 중 스티칭될 영역을 선택할 수 있다. 이미지 처리 장치(200)는, 예를 들어, 상기 디스플레이(250)에 표시될 영역 및 상기 디스플레이에 표시될 영역에 인접한 지정된 영역을 선택할 수 있다. 이미지 처리 장치(200)는 사용자의 움직임을 감지하여 상기 지정된 영역을 결정하거나, 사용자의 입력을 수신하여 상기 지정된 영역을 결정할 수 있다. 또 다른 예를 들어, 이미지 처리 장치(200)는 외부 장치로부터 디스플레이에 표시될 영역에 대한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 복수의 분할 이미지 중 일부 영역을 선택할 수 있다.
일 실시 예에 따르면, 920 동작에서, 이미지 처리 장치(200)는 상기 복수의 분할 이미지의 선택된 영역의 경계를 스티칭하여 파노라마 이미지를 생성할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 이미지 처리 장치에 있어서,
    디스플레이;
    전방위 피사체가 분할되어 촬영된 구면 형태의 복수의 분할 이미지 각각을 스티칭하여 파노라마(panorama) 이미지를 생성하고, 상기 파노라마 이미지의 일부를 상기 디스플레이를 통해 출력하도록 설정된 프로세서를 포함하며,
    상기 프로세서는,
    상기 구면 형태의 복수의 분할 이미지를 평면 형태의 분할 이미지로 변환하고,
    상기 평면 형태의 분할 이미지 각각에 대하여 일부 영역을 선택하고,
    상기 평면 형태의 분할 이미지 각각에 대하여 상기 선택된 일부 영역을 제외한 나머지 영역만 스티칭하도록 설정되며,
    상기 일부 영역은 상기 평면 형태의 분할 이미지의 하단부의 지정된 영역 및 상기 평면 형태의 분할 이미지의 상단부의 지정된 영역 중 적어도 하나를 포함하는 이미지 처리 장치.
  2. 제1 항에 있어서,
    상기 일부 영역을 제외한 나머지 영역은,
    상기 디스플레이에 표시될 영역 및 상기 디스플레이에 표시될 영역에 인접한 영역을 포함하는 이미지 처리 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제2 항에 있어서,
    상기 이미지 처리 장치의 움직임을 감지하는 센서 모듈을 포함하며,
    상기 프로세서는,
    상기 이미지 처리 장치의 움직임에 기초하여 상기 디스플레이에 표시될 영역 및 상기 디스플레이에 표시될 영역에 인접한 영역을 선택하도록 설정된 이미지 처리 장치.
  7. 제2 항에 있어서,
    상기 이미지 처리 장치의 움직임을 감지하는 센서 모듈을 포함하며,
    상기 프로세서는,
    상기 이미지 처리 장치의 움직임의 속도 및 방향 중 적어도 하나에 기초하여 상기 인접한 영역의 모양 및 크기 중 적어도 하나를 결정하도록 설정된 이미지 처리 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 이미지 처리 장치의 움직임의 속도에 비례하여 상기 인접한 영역의 크기를 결정하도록 설정된 이미지 처리 장치.
  9. 제2 항에 있어서,
    사용자 입력을 수신하는 입력 모듈을 포함하며,
    상기 프로세서는,
    상기 사용자 입력에 기초하여 상기 디스플레이에 표시될 영역을 선택하도록 설정된 이미지 처리 장치.
  10. 제1 항에 있어서,
    통신 모듈;을 더 포함하고,
    상기 프로세서는,
    외부 장치로부터 상기 일부 영역 또는 상기 일부 영역을 제외한 나머지 영역과 관련된 정보를 수신하도록 설정된 이미지 처리 장치.
  11. 이미지 처리 장치의 제어 방법에 있어서,
    전방위 피사체가 분할되어 촬영된 구면 형태의 복수의 분할 이미지 각각을 스티칭하여 파노라마(panorama) 이미지를 생성하는 동작; 및
    상기 파노라마 이미지의 일부를 디스플레이를 통해 출력하는 동작을 포함하며,
    상기 파노라마 이미지를 생성하는 동작은;
    상기 구면 형태의 복수의 분할 이미지를 평면 형태의 분할 이미지로 변환하는 동작;
    상기 평면 형태의 분할 이미지 각각에 대하여 일부 영역을 선택하는 동작;
    상기 평면 형태의 분할 이미지 각각에 대하여 상기 선택된 일부 영역을 제외한 나머지 영역만 스티칭하는 동작을 포함하며,
    상기 일부 영역은 상기 평면 형태의 분할 이미지의 하단부의 지정된 영역 및 상기 평면 형태의 분할 이미지의 상단부의 지정된 영역 중 적어도 하나를 포함하는 방법.
  12. 제11 항에 있어서,
    상기 일부 영역을 제외한 나머지 영역은,
    상기 디스플레이에 표시될 영역 및 상기 디스플레이에 표시될 영역에 인접한 영역을 포함하는 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제12 항에 있어서,
    상기 이미지 처리 장치의 움직임에 기초하여 상기 디스플레이에 표시될 영역 및 상기 디스플레이에 표시될 영역에 인접한 영역을 확인하는 방법.
  14. 삭제
  15. 삭제
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제12 항에 있어서,
    상기 이미지 처리 장치의 움직임의 속도 및 방향 중 적어도 하나에 기초하여 상기 인접한 영역의 모양 및 크기 중 적어도 하나를 결정하는 동작을 포함하는 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제12 항에 있어서,
    사용자의 입력을 수신하는 동작; 및
    사용자의 입력에 기초하여 상기 디스플레이에 표시될 영역을 선택하는 동작;을 포함하는 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제11 항에 있어서,
    외부 장치로부터 상기 일부 영역 또는 상기 일부 영역을 제외한 나머지 영역과 관련된 정보를 수신하는 동작;을 포함하는 방법.
  19. 전방위 피사체가 분할되어 촬영된 구면 형태의 복수의 분할 이미지 각각을 스티칭하여 파노라마(panorama) 이미지를 생성하는 동작; 및
    상기 파노라마 이미지의 일부를 디스플레이를 통해 출력하는 동작을 포함하며,
    상기 파노라마 이미지를 생성하는 동작은;
    상기 구면 형태의 복수의 분할 이미지를 평면 형태의 분할 이미지로 변환하는 동작;
    상기 평면 형태의 분할 이미지 각각에 대하여 일부 영역을 선택하는 동작;
    상기 평면 형태의 분할 이미지 각각에 대하여 상기 선택된 일부 영역을 제외한 나머지 영역만 스티칭하는 동작;을 포함하는 방법을 수행하는 프로그램이 기록되며,
    상기 일부 영역은 상기 평면 형태의 분할 이미지의 하단부의 지정된 영역 및 상기 평면 형태의 분할 이미지의 상단부의 지정된 영역 중 적어도 하나를 포함하는 컴퓨터 판독 가능 기록매체.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제19 항에 있어서,
    상기 일부 영역을 제외한 나머지 영역은,
    상기 디스플레이에 표시될 영역 및 상기 디스플레이에 표시될 영역에 인접한 영역을 포함하는 컴퓨터 판독 가능 기록매체.
KR1020160126977A 2016-09-30 2016-09-30 이미지 처리 장치 및 이미지 처리 장치의 제어 방법 KR102604261B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160126977A KR102604261B1 (ko) 2016-09-30 2016-09-30 이미지 처리 장치 및 이미지 처리 장치의 제어 방법
US15/710,302 US20180096452A1 (en) 2016-09-30 2017-09-20 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160126977A KR102604261B1 (ko) 2016-09-30 2016-09-30 이미지 처리 장치 및 이미지 처리 장치의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180036408A KR20180036408A (ko) 2018-04-09
KR102604261B1 true KR102604261B1 (ko) 2023-11-21

Family

ID=61757170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160126977A KR102604261B1 (ko) 2016-09-30 2016-09-30 이미지 처리 장치 및 이미지 처리 장치의 제어 방법

Country Status (2)

Country Link
US (1) US20180096452A1 (ko)
KR (1) KR102604261B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6948874B2 (ja) * 2017-08-01 2021-10-13 キヤノン株式会社 撮像装置、制御方法、及びプログラム
CN111461985A (zh) * 2020-03-31 2020-07-28 维沃移动通信有限公司 图片处理方法及电子设备
CN113906727A (zh) * 2020-08-13 2022-01-07 深圳市大疆创新科技有限公司 全景回放的方法、装置和系统、拍摄设备、可移动平台
CN114004839A (zh) * 2021-10-22 2022-02-01 影石创新科技股份有限公司 全景图像的图像分割方法、装置、计算机设备和存储介质
CN114299049A (zh) * 2021-12-31 2022-04-08 深圳中科飞测科技股份有限公司 检测方法及装置、电子设备和存储介质
KR102496362B1 (ko) * 2022-11-15 2023-02-06 (주)빛글림 인공지능 기반 영상 콘텐츠 제작 시스템 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031540A (en) * 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
DE60140320D1 (de) * 2000-02-29 2009-12-10 Panasonic Corp Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
KR101603876B1 (ko) * 2015-10-30 2016-03-17 삼성전자주식회사 파노라마의 생성 방법
KR20180023723A (ko) * 2016-08-26 2018-03-07 삼성전자주식회사 디스플레이장치 및 그 제어방법

Also Published As

Publication number Publication date
KR20180036408A (ko) 2018-04-09
US20180096452A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
KR102604261B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 제어 방법
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
JP6627935B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR102623391B1 (ko) 영상 출력 방법 및 이를 지원하는 전자 장치
ES2768712T3 (es) Sistema y procedimiento para la formación de imágenes de enfoque múltiple
JP6288084B2 (ja) 表示制御装置、表示制御方法および記録媒体
CN104284064B (zh) 用于预览双镜头图像的方法和设备
US10915993B2 (en) Display apparatus and image processing method thereof
US9740282B1 (en) Gaze direction tracking
US9632314B2 (en) Head mounted display device displaying thumbnail image and method of controlling the same
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JPWO2014188798A1 (ja) 表示制御装置、表示制御方法および記録媒体
JP2014520339A (ja) コンピュータビジョンの応用例で対話の範囲を拡大するジェスチャ制御による技術
KR20150012274A (ko) 이미지 내 원형 객체 검출에 의한 계산장치 동작
JP5766957B2 (ja) ジェスチャ入力装置
KR102508663B1 (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
KR20190105388A (ko) 전자 장치 및 이미지 처리 방법
US20200192099A1 (en) Camera device, display device, and method for correcting motion in device
US11366318B2 (en) Electronic device and control method thereof
US20240203012A1 (en) Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor
KR20170120299A (ko) 립모션을 이용한 실감형 콘텐츠 서비스 시스템
JP2017040893A (ja) 頭部装着型表示装置に関するプログラム
KR20200031255A (ko) 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법
JP7113065B2 (ja) コンピュータプログラム、方法、及び、サーバ

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160930

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210923

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160930

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230417

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231023

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231115

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231116

End annual number: 3

Start annual number: 1

PG1601 Publication of registration