KR20200050509A - 다차원 360도 이미지 생성 시스템 - Google Patents

다차원 360도 이미지 생성 시스템 Download PDF

Info

Publication number
KR20200050509A
KR20200050509A KR1020180132993A KR20180132993A KR20200050509A KR 20200050509 A KR20200050509 A KR 20200050509A KR 1020180132993 A KR1020180132993 A KR 1020180132993A KR 20180132993 A KR20180132993 A KR 20180132993A KR 20200050509 A KR20200050509 A KR 20200050509A
Authority
KR
South Korea
Prior art keywords
image
mono
sensing device
degree
dimensional
Prior art date
Application number
KR1020180132993A
Other languages
English (en)
Inventor
송영일
박정우
김준호
Original Assignee
주식회사 서틴스플로어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서틴스플로어 filed Critical 주식회사 서틴스플로어
Priority to KR1020180132993A priority Critical patent/KR20200050509A/ko
Publication of KR20200050509A publication Critical patent/KR20200050509A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명에 따른 다차원 360도 이미지 생성 시스템은, 전방 공간에 대한 스테레오 이미지를 생성하는 스테레오 이미지 센싱 장치와, 후방 공간에 대한 모노 이미지를 생성하는 모노 이미지 생성 장치와, 상기 스테레오 이미지 센싱 장치 및 모노 이미지 센싱 장치를 고정 지지하는 고정 장치를 포함하는 이미지 센싱 장치; 및 상기 이미지 센싱 장치로부터 수신되는 스테레오 이미지 및 모노 이미지를 처리하여 다차원 360도 이미지를 생성하는 이미지 처리 장치;를 포함한다.

Description

다차원 360도 이미지 생성 시스템{SYSTEM FOR GENERATING MULTI-DIMENSIONAL 360 DEGREE IMAGE}
본 발명은 VR(Virtual Reality) 콘텐츠용 이미지(또는 영상)을 생성하는데 있어 이미지 처리 효율을 대폭 향상시킬 수 있는 이미지 처리 기술에 관한 것이다.
3차원 360도 콘텐츠는 HMD 등 VR 장치를 통하여 출력되며, 양안 시차를 통해 체험자가 대상물이 눈 앞에 실재하는 것과 같은 입체감을 느낄 수 있도록 하여, 최근 게임, 교육, 문화, 예술 등 다양한 분야에서 활용되고 있다.
종래 3차원 360도 이미지를 생성하기 위한 기술로서, 180도 이상의 화각(FOV, field of view)을 가지는 4개의 카메라를 이용하여 촬영된 이미지를 스티칭함으로써 3차원의 360도 이미지를 생성하는 기술이 제안된 바 있다. 보다 구체적으로, 본 기술은 전면에 배치된 2개의 카메라(전방 좌안 카메라, 전방 우안 카메라)와 후면에 배치된 2개의 카메라(후방 좌안 카메라, 후방 우안 카메라)를 통해 4개의 이미지를 획득한 후, 전방 좌안 카메라 및 후방 좌안 카메라를 통해 획득된 각각의 이미지를 스티칭하여 360도 좌안 이미지를 생성하고, 전방 우안 카메라 및 후방 우안 카메라를 통해 획득된 각각의 이미지를 스티칭하여 360도 우안 이미지를 생성하여, 생성된 이미지들 각각을 HMD 등 360도 이미지 출력 장치의 좌안 및 우안 디스플레이에 출력함으로써 360도 이미지를 3차원으로 출력할 수 있다.
그러나, 이러한 종래 기술의 경우, 데이터 처리 효율 측면에서 좌우 양안 이미지에 대한 스티칭 프로세스가 복잡하며, 방대한 이미지의 조합으로 이루어진 영상 콘텐츠를 생성하고자 하는 경우에는 이미지 처리 프로세스에 방대한 시간 및 인력이 투입되어야 한다. 또한, 이미지 획득을 위한 각 카메라가 180도 이상의 화각을 가짐에 따라 좌안 카메라의 이미지에 우안 카메라의 렌즈가 촬영되며 우안 카메라의 이미지에 좌안 카메라의 렌즈가 촬영되어, 사용자에게 완벽한 품질의 영상을 제공할 수 없으며 이질감을 느끼게 하는 문제점이 나타난다.
현재까지 제안된 관련 기술은 위와 같은 기술적 한계가 나타나며, 이러한 기술적 문제점을 해결할 수 있는 기술이 제안된다면, VR 콘텐츠 제작 측면에서 시간 및 비용을 대폭 절감할 수 있으며, 사용자 측면에서도 고품질의 3차원 360도 콘텐츠를 제공받을 수 있는 효과를 기대할 수 있다.
한국공개특허 제10-2018-0106549호
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, VR 콘텐츠용 이미지를 생성하는데 있어 이미지 처리 효율을 대폭 향상시킬 수 있는 동시에 고품질의 이미지를 생성할 수 있는 다차원 360도 이미지 생성 기술을 제공하고자 한다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예들을 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 다차원 360도 이미지 생성 시스템은, 전방 공간에 대한 스테레오 이미지를 생성하는 스테레오 이미지 센싱 장치와, 후방 공간에 대한 모노 이미지를 생성하는 모노 이미지 생성 장치와, 상기 스테레오 이미지 센싱 장치 및 모노 이미지 센싱 장치를 고정 지지하는 고정 장치를 포함하는 이미지 센싱 장치; 및 상기 이미지 센싱 장치로부터 수신되는 스테레오 이미지 및 모노 이미지를 처리하여 다차원 360도 이미지를 생성하는 이미지 처리 장치;를 포함한다.
일 실시예에서, 상기 스테레오 센싱 장치는 시차를 가지도록 이격된 위치에 배치된 제1 및 제2 이미지 센싱 장치를 포함하여 구성되며, 상기 제1 이미지 센싱 장치는 전방 공간에 대한 전방 좌안 이미지를 생성하고, 상기 제2 이미지 센싱 장치는 전방 공간에 대한 전방 우안 이미지를 생성하며, 상기 모노 이미지 생성 장치는 상기 스테레오 센싱 장치의 타방에 배치되고, 후방 공간에 대한 후방 모노 이미지를 생성할 수 있다.
일 실시예에서, 상기 제1 및 제2 이미지 센싱 장치와 상기 모노 이미지 센싱 장치는 각각 190 내지 260도 범위의 화각(FOV, field of view)을 가지도록 구성될 수 있다.
일 실시예에서, 상기 이미지 처리 장치는 상기 이미지 센싱 장치로부터 전방 좌안 이미지, 전방 우안 이미지 및 후방 모노 이미지를 수신하는 이미지 수신부; 및 상기 수신된 전방 좌안 이미지, 전방 우안 이미지 및 후방 모노 이미지를 처리하여 다차원 360도 이미지를 생성하는 이미지 처리부;를 포함할 수 있다.
일 실시예에서, 상기 이미지 처리부는 상기 전방 좌안 이미지에서 상기 제2 이미지 센싱 장치의 렌즈가 촬영된 제1 영역을 추출하고, 상기 전방 우안 이미지에서 상기 제1 이미지 센싱 장치의 렌즈가 촬영된 제2 영역을 추출한 후, 상기 후방 모노 이미지에서 상기 제1 및 제2 영역에 각각 대응되는 제3 및 제4영역을 추출하여, 상기 제1 영역을 상기 제3 영역의 이미지로 치환하고 상기 제2 영역을 상기 제4 영역의 이미지로 치환할 수 있다.
일 실시예에서, 상기 이미지 처리부는 상기 전방 좌안 이미지와 상기 후방 모노 이미지를 스티칭 처리하고, 상기 전방 우안 이미지와 상기 후방 모노 이미지를 스티칭 처리하여, 전방 공간에 대하여는 스테레오 이미지이며 후방 공간에 대하여는 모노 이미지인 다차원 360도 이미지를 생성할 수 있다.
본 발명에 따르면, 전방에 배치된 스테레오 이미지 센싱 장치와 후방에 배치된 모노 이미지 센싱 장치를 통해 이미지를 생성하고, 생성된 스테레오 이미지 및 모노 이미지를 스티칭 처리하여 전방 공간에 대하여는 스테레오 이미지이며 후방 공간에 대하여는 모노 이미지인 다차원 360도 이미지를 생성할 수 있으므로, 종래기술과 비교하여 스티칭 처리 프로세스 효율을 대폭 향상시킬 수 있다.
또한, 본 발명에 따르면, 이미지 스티칭 과정에서 스테레오 이미지 각각에 촬영된 스테레오 카메라의 렌즈 영역을 모노 이미지에서 추출하여 치환함으로써 렌즈 촬영 영역을 제거할 수 있어 고품질의 3차원 이미지를 생성할 수 있다.
도 1은 본 발명에 따른 다차원 360도 이미지 생성 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다차원 360도 이미지 생성 시스템을 설명하기 위한 블록도이다.
도 3 내지 6을 본 발명의 일 실시예에 따른 이미지 센싱 장치를 설명하기 위한 참고도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치에서 수행되는 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 8 내지 도 14는 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 참고도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 다차원 360도 이미지 생성 시스템을 설명하기 위한 블록도이다.
도 1을 참조하면, 다차원 360도 이미지 생성 시스템(10)은 이미지 센싱 장치(100) 및 이미지 처리 장치(200)를 포함한다.
이미지 센싱 장치(100)는 이미지를 센싱하여 이미지 데이터를 생성하는 장치로, 예를 들어 카메라 장치에 해당할 수 있다. 여기에서, 이미지 센싱 장치(100)는 복수 개의 카메라 장치를 포함하여 구성될 수 있다.
이미지 처리 장치(200)는 이미지 센싱 장치(100)와 연결되며 이미지 센싱 장치(100)로부터 수신되는 이미지 데이터를 처리하고, 처리된 이미지 데이터를 360도 이미지 출력 장치(20)로 전송하는 장치에 해당한다. 한편, 본 발명에서 이미지 데이터는 특정 시간에서의 정지된 화상 데이터를 의미하며, 본 발명에 따른 이미지 처리 장치(200)는 일정 프레임 레이트(frame rate)를 가지며 재생 가능한 복수의 이미지 데이터를 처리할 수 있다. 즉, 본 발명에 따른 다차원 360도 이미지 생성 시스템은 다차원 360도 영상을 생성할 수 있음은 물론이다.
360도 이미지 출력 장치(20)는 이미지 처리 장치(200)와 연결되며, 이미지 처리 장치(200)로부터 수신되는 다차원 360도 이미지 데이터(또는 영상 데이터)를 출력할 수 있는 디스플레이 장치에 해당한다.
일 실시예에서, 360도 이미지 출력 장치(20)는 360도 이미지 데이터(또는 영상 데이터)에 포함되는 좌안 및 우안 이미지 데이터를 독립적으로 출력할 수 있는 디스플레이를 포함하여, 사용자가 360도 이미지를 입체적으로 인식하도록 할 수 있는 디스플레이 장치에 해당할 수 있다. 예를 들어, 360도 이미지 출력 장치(20)는 HMD(Head mounted Display)에 해당할 수 있다(예 : 삼성 기어 VR, 오큘러스 리프트 등).
이하에서는, 도 2 내지 도 14를 참조하여 본 발명 및 본 발명의 다양한 실시예에 따른 다차원 360도 이미지 생성 시스템(10)의 각 구성과 각 구성의 동작에 대하여 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 다차원 360도 이미지 생성 시스템을 설명하기 위한 블록도이다.
도 2를 참조하면, 다차원 360도 이미지 생성 시스템(10)은 특정 공간에 대한 전방 및 후방 이미지를 생성하는 이미지 센싱 장치(100)와, 이미지 센싱 장치(100)로부터 수신되는 이미지를 처리하여 다차원 360도 이미지를 생성하는 이미지 처리 장치(200)를 포함한다.
일 실시예에서, 이미지 센싱 장치(100)는 스테레오 이미지 센싱 장치(110)와, 모노 이미지 생성 장치(120)와, 스테레오 이미지 센싱 장치(110) 및 모노 이미지 센싱 장치(120)를 고정 지지하는 고정 장치(130)를 포함하여 구성될 수 있다. 여기에서, 스테레오 이미지 센싱 장치(110)는 전방 공간에 대한 스테레오 이미지를 생성하며, 모노 이미지 생성 장치(120)는 후방 공간에 대한 모노 이미지를 생성할 수 있다.
이하에서는 도 2 이외 도 3 내지 6을 함께 참조하여, 본 발명의 일 실시예에 따른 이미지 센싱 장치(100)를 보다 상세하게 설명한다. 한편, 도 3 내지 6은 본 발명의 일 실시예에 따라 실제 구현한 이미지 센싱 장치(100)를 나타내는 도면 및 사진이다.
일 실시예에서, 스테레오 센싱 장치(110)는 시차를 가지도록 이격된 위치에 배치된 제1 이미지 센싱 장치(111) 및 제2 이미지 센싱 장치(112)를 포함하여 구성될 수 있다. 여기에서, 제1 이미지 센싱 장치(111)는 전방 공간에 대한 전방 좌안 이미지를 생성하고, 제2 이미지 센싱 장치(112)는 전방 공간에 대한 전방 우안 이미지를 생성할 수 있다.
일 실시예에서, 모노 이미지 생성 장치(120)는 스테레오 센싱 장치(111, 112)의 타방에 배치되고, 후방 공간에 대한 후방 모노 이미지를 생성할 수 있다.
즉, 본 발명에 따른 이미지 센싱 장치(100)는 4개의 이미지 센싱 장치를 포함하여구성되는 종래 기술과 달리, 전방 2개, 후방 1개, 총 3개의 이미지 센싱 장치로 구성되며, 전방 2개의 이미지 센싱 장치(스테레오 이미지 센싱 장치)를 통해 전방 공간에 대한 스테레오 이미지를 생성하며, 후방 1개의 이미지 센싱 장치(모노 이미지 센싱 장치)를 통해 후방 공간에 대한 모노 이미지를 생성할 수 있다.
일 실시예에서, 제1 및 제2 이미지 센싱 장치(111, 112)와 모노 이미지 센싱 장치(120)는 각각 190 내지 260도 범위의 화각(FOV, field of view)을 가지도록 구성될 수 있다. 예를 들어, 제1 및 제2 이미지 센싱 장치는 200도의 화각(FOV)을 가지는 어안 렌즈(Fisheye lens)를 장착한 카메라 장치(111, 112)로 구현되고, 모노 이미지 센싱 장치는 250도의 화각(FOV)을 가지는 어안 렌즈를 장착한 카메라 장치(120)로 구현될 수 있다. 또 다른 예를 들어, 제1 및 제2 이미지 센싱 장치는 250도의 화각(FOV)을 가지는 어안 렌즈를 장착한 카메라 장치(111, 112)로 구현되고, 모노 이미지 센싱 장치는 250도의 화각(FOV)을 가지는 어안 렌즈를 장착한 카메라 장치(120)로 구현될 수 있다. 한편, 이러한 예시는 본 발명의 권리범위를 한정하고자 하는 것은 아니며, 다양한 촬영 조건에 따라 최적의 화각 범위를 가지는 렌즈군이 적용될 수 있음은 물론이다.
고정 장치(130)는 스테레오 이미지 센싱 장치(110) 및 모노 이미지 센싱 장치(120)를 기정의된 위치에 고정 지지할 수 있다. 도 6을 참조하면, 고정 장치(130)는 제1 및 제2 이미지 센싱 장치(111, 112)가 전방을 향하도록 고정 지지하는 제1 및 제2 지지부(131, 132)와, 모노 이미지 센싱 장치(120)가 후방을 향하도록 고정 지지하는 제3 지지부(133)를 포함하고, 제1 내지 제3 지지부(131, 132, 133)를 고정 지지하는 메인 프레임(134)를 포함하여 구성될 수 있다.
다시 도 2를 참조하면, 이미지 처리 장치(200)는 이미지 센싱 장치(100)로부터 수신되는 스테레오 이미지 및 모노 이미지를 처리하여 다차원 360도 이미지를 생성할 수 있다.
일 실시예에서, 이미지 처리 장치(200)는 이미지 수신부(210), 이미지 처리부(220) 및 이미지 송신부(230)를 포함하여 구성될 수 있다.
이미지 수신부(210)는 이미지 센싱 장치(100)로부터 스테레오 이미지 및 모노 이미지를 수신할 수 있다. 여기에서, 이미지 수신부(210)는 스테레오 이미지 센싱 장치(110)에 의하여 생성되는 전방 좌안 이미지 및 전방 우안 이미지와, 모노 이미지 센싱 장치(120)에 의하여 생성되는 후방 모노 이미지를 수신할 수 있다.
이미지 처리부(220)는 수신된 전방 좌안 이미지, 전방 우안 이미지 및 후방 모노 이미지를 처리하여 다차원 360도 이미지를 생성할 수 있다. 한편, 이미지 처리부(220)가 전방 좌안 이미지, 전방 우안 이미지 및 후방 모노 이미지를 기초로 다차원 360도 이미지를 생성하는 방법에 관하여는 후술한다.
이미지 송신부(230)는 이미지 처리부(220)에 의하여 생성된 다차원 360도 이미지를 360도 이미지 출력 장치(20)로 전송하여, 360도 이미지 출력 장치(20)가 다차원 360도 이미지를 출력하도록 할 수 있다.
이하에서는 도 2 이외 도 7 내지 14을 함께 참조하여, 본 발명의 일 실시예에 따른 다차원 360도 이미지 생성 방법에 대하여 보다 상세하게 설명한다. 한편, 도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치에서 수행되는 이미지 처리 방법을 설명하기 위한 흐름도이며, 도 8 내지 도 14는 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 참고도이다.
이미지 수신부(210)는 스테레오 이미지 센싱 장치(110)에 의하여 생성되는 전방 좌안 이미지 및 전방 우안 이미지와, 모노 이미지 센싱 장치(120)에 의하여 생성되는 후방 모노 이미지를 수신할 수 있다(단계 S710). 예를 들어, 도 8을 참조하면, 이미지 수신부(210)는 제1 이미지 센싱 장치(111)에 의하여 생성되는 전방 좌안 이미지(A) 및 제2 이미지 센싱 장치(112)에 의하여 생성되는 전방 우안 이미지(B)를 수신할 수 있다. 또한, 도 9를 참조하면, 이미지 수신부(210)는 모노 이미지 센싱 장치(120)에 의하여 생성되는 모노 이미지 센싱 장치(120)에 의하여 생성되는 후방 모노 이미지(C)를 수신할 수 있다.
이후, 이미지 처리부(220)는 전방 좌안 이미지에서 제2 이미지 센싱 장치(112)의 렌즈가 촬영된 제1 영역을 추출하고, 전방 우안 이미지에서 제1 이미지 센싱 장치(111)의 렌즈가 촬영된 제2 영역을 추출할 수 있다(단계 S720). 예를 들어, 도 8을 참조하면, 이미지 처리부(220)는 전방 좌안 이미지(A)에서 제2 이미지 센싱 장치(112)의 렌즈가 촬영된 제1 영역(810)을 추출하고, 전방 우안 이미지(B)에서 제1 이미지 센싱 장치(111)의 렌즈가 촬영된 제2 영역(820)을 추출할 수 있다. 일 실시예에서, 이미지 처리부(220)는 는 기저장된 렌즈 이미지를 기초로 기저장된 이미지가 포함되어 있는 일정 영역의 식별함으로써 제1 및 제2 영역(810, 820)을 추출할 수 있으며, 작업자에 의하여 입력된 이미지상의 좌표 정보를 기초로 제1 및 제2 영역(810, 820)을 추출할 수 있다.
이후, 이미지 처리부(220)는 후방 모노 이미지에서 제1 및 제2 영역에 각각 대응되는 제3 및 제4영역을 추출할 수 있다(단계 S730). 예를 들어, 도 9를 참조하면, 이미지 처리부(220)는 후방 모노 이미지(C)에서 제1 영역(810)과 대응되는 제3영역(910)을 추출하고, 후방 모노 이미지(C)에서 제2 영역(820)과 대응되는 제4영역(920)을 추출할 수 있다.
일 실시예에서, 이미지 처리부(220)는 전방 좌안 이미지 및 전방 우안 이미지와, 후방 모노 이미지를 정방형 도법 전환 처리한 후, 단계 S720 및 S730 프로세스를 수행할 수 있다. 예를 들어, 도 10을 참조하면, 이미지 처리부(220)는 수신된 전방 좌안 이미지 및 전방 우안 이미지를 정방형 도법 전환 처리하여 정방형 전방 좌안 이미지(A) 및 정방형 전방 우안 이미지(B)를 생성할 수 있고, 도 11을 참조하면, 이미지 처리부(220)는 수신된 후방 모노 이미지를 정방형 도법 전환 처리하여 정방형 후방 모노 이미지(C)를 생성할 수 있다.
이후, 이미지 처리부(220)는 정방형 전방 좌안 이미지(도 10 (A))에서 제2 이미지 센싱 장치(112)의 렌즈가 촬영된 제1 영역(1010)을 추출하고, 정방형 전방 우안 이미지(도 10 (B))에서 제1 이미지 센싱 장치(111)의 렌즈가 촬영된 제2 영역(1020)을 추출할 수 있다.
이후, 이미지 처리부(220)는 정방형 후방 모노 이미지(도 11(C))에서 제1 영역(1010)과 대응되는 제3영역(1110)을 추출하고, 정방형 후방 모노 이미지(도 11 (C))에서 제2 영역(1020)과 대응되는 제4영역(1020)을 추출할 수 있다.
이후, 이미지 처리부(220)는 제1 영역(1010)을 제3 영역(1110)의 이미지로 치환하고, 제2 영역(1020)을 제4 영역(1120)의 이미지로 치환할 수 있다(단계 S740). 본 발명에 따른 제1 및 제2 이미지 센싱 장치(112)는 180도 이상의 화각을 가지도록 구성됨에 따라 전방 좌안 이미지에는 제2 이미지 센싱 장치(112)의 렌즈가 촬영되며, 반대로 전방 우안 이미지에는 제1 이미지 센싱 장치(111)의 렌즈가 촬영될 수 있다. 여기에서, 본 발명에 따른 이미지 처리부(220)는 전방 스테레오 카메라에 촬영된 렌즈 이미지를 후방 모노 카메라에 의하여 촬영된 영상을 이용하여 제거함으로써, 사용자의 몰입감을 방해할 수 있는 요소를 제거하여 고품질의 360도 이미지를 생성할 수 있다.
이후, 이미지 처리부(220)는 전방 좌안 이미지(또는 정방형 전방 좌안 이미지)와 후방 모노 이미지(또는 정방형 후방 모노 이미지)를 스티칭 처리하고, 전방 우안 이미지(또는 정방형 전방 우안 이미지)와 후방 모노 이미지(또는 정방형 후방 모노 이미지)를 스티칭 처리하여, 다차원 360도 이미지를 생성할 수 있다(단계 S750).
예를 들어, 이미지 처리부(220)는 정방형 전방 좌안 이미지(도 10 (A))와 후방 모노 이미지(도 11(C))를 스티칭 처리하여 정방형 360도 좌안 이미지(도 12)를 생성할 수 있다. 여기에서, 정방형 360도 좌안 이미지(도 12)는 제1 영역(1010)이 제3 영역(1110)의 이미지로 치환됨에 따라 제2 이미지 센싱 장치(112)의 렌즈 이미지가 제거되었음을 확인할 수 있다. 또 다른 예를 들어, 이미지 처리부(220)는 정방형 전방 우안 이미지(도 10 (B))와 후방 모노 이미지(도 11(C))를 스티칭 처리하여 정방형 360도 우안 이미지(도 13)를 생성할 수 있다. 여기에서, 정방형 360도 우안 이미지(도 13)는 제2 영역(1020)이 제4 영역(1120)의 이미지로 치환됨에 따라 제1 이미지 센싱 장치(111)의 렌즈 이미지가 제거되었음을 확인할 수 있다.
본 발명에 따라 생성된 360도 좌안 및 우안 이미지(예 : 도 15)가 360도 이미지 출력 장치(20)에서 출력되는 경우, 사용자는 전방 공간에 대하여는 3차원으로 인식할 수 있으며, 후방 공간에서는 2차원으로 인식할 수 있다. 즉, 본 발명에 따라 생성되는 360도 이미지(예 : 도 15)는 전방 공간에 대하여는 스테레오 이미지이며 후방 공간에 대하여는 모노 이미지인 다차원의 360도 이미지에 해당한다.
일반적으로 360도 콘텐츠를 사용하는 사용자의 시선이 주로 전방 공간에 집중함에 따라, 전방 공간에 대한 영상만이 3차원으로 구현되고 후방 공간에 대한 영상은 2차원으로 구현되더라도, 사용자는 본 발명에 따른 다차원 360도 이미지(또는 영상)를 충분히 입체적으로 인식할 수 있으며, 콘텐츠 제작 측면에서 종래 기술과 달리 후방 이미지를 스테레오 이미지가 아닌 모노 이미지로 촬영하여 스티칭함으로써 종래기술과 비교하여 스티칭 처리 프로세스 효율을 대폭 향상시킬 수 있다. 또한, 상기 설명한 바와 같이 이미지 스티칭 과정에서 전방 스테레오 카메라에 촬영된 렌즈 이미지를 후방 모노 카메라에 의하여 촬영된 영상을 이용하여 제거함으로써, 사용자의 몰입감을 방해할 수 있는 요소를 제거할 수 있어 고품질의 360도 이미지를 사용자에게 제공할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10 : 다차원 360도 이미지 생성 시스템
20 : 360도 이미지 출력 장치
100 : 이미지 센싱 장치
111 : 제1 이미지 센싱 장치
112 : 제2 이미지 센싱 장치
120 : 모노 이미지 센싱 장치
130 : 고정 장치
131 : 제1 지지부
132 : 제2 지지부
133 : 제3 지지부
134 : 메인 프레임
200 : 이미지 처리 장치
210 : 이미지 수신부
220 : 이미지 처리부
230 : 이미지 송신부
810, 1010 : 제1 영역
820, 1020 : 제2 영역
910, 1110 : 제3 영역
920, 1120 : 제4 영역

Claims (6)

  1. 전방 공간에 대한 스테레오 이미지를 생성하는 스테레오 이미지 센싱 장치와, 후방 공간에 대한 모노 이미지를 생성하는 모노 이미지 생성 장치와, 상기 스테레오 이미지 센싱 장치 및 모노 이미지 센싱 장치를 고정 지지하는 고정 장치를 포함하는 이미지 센싱 장치; 및
    상기 이미지 센싱 장치로부터 수신되는 스테레오 이미지 및 모노 이미지를 처리하여 다차원 360도 이미지를 생성하는 이미지 처리 장치;
    를 포함하는 다차원 360도 이미지 생성 시스템.
  2. 제1항에 있어서,
    상기 스테레오 센싱 장치는 시차를 가지도록 이격된 위치에 배치된 제1 및 제2 이미지 센싱 장치를 포함하여 구성되며,
    상기 제1 이미지 센싱 장치는 전방 공간에 대한 전방 좌안 이미지를 생성하고,
    상기 제2 이미지 센싱 장치는 전방 공간에 대한 전방 우안 이미지를 생성하며,
    상기 모노 이미지 생성 장치는 상기 스테레오 센싱 장치의 타방에 배치되고, 후방 공간에 대한 후방 모노 이미지를 생성하는 것을 특징으로 하는 다차원 360도 이미지 생성 시스템.
  3. 제2항에 있어서,
    상기 제1 및 제2 이미지 센싱 장치와 상기 모노 이미지 센싱 장치는 각각 190 내지 260도 범위의 화각(FOV, field of view)을 가지도록 구성되는 것을 특징으로 하는 다차원 360도 이미지 생성 시스템.
  4. 제3항에 있어서, 상기 이미지 처리 장치는
    상기 이미지 센싱 장치로부터 전방 좌안 이미지, 전방 우안 이미지 및 후방 모노 이미지를 수신하는 이미지 수신부; 및
    상기 수신된 전방 좌안 이미지, 전방 우안 이미지 및 후방 모노 이미지를 처리하여 다차원 360도 이미지를 생성하는 이미지 처리부;
    를 포함하는 것을 특징으로 하는 다차원 360도 이미지 생성 시스템.
  5. 제4항에 있어서, 상기 이미지 처리부는
    상기 전방 좌안 이미지에서 상기 제2 이미지 센싱 장치의 렌즈가 촬영된 제1 영역을 추출하고, 상기 전방 우안 이미지에서 상기 제1 이미지 센싱 장치의 렌즈가 촬영된 제2 영역을 추출한 후,
    상기 후방 모노 이미지에서 상기 제1 및 제2 영역에 각각 대응되는 제3 및 제4영역을 추출하여, 상기 제1 영역을 상기 제3 영역의 이미지로 치환하고 상기 제2 영역을 상기 제4 영역의 이미지로 치환하는 것을 특징으로 하는 다차원 360도 이미지 생성 시스템.
  6. 제5항에 있어서, 상기 이미지 처리부는
    상기 전방 좌안 이미지와 상기 후방 모노 이미지를 스티칭 처리하고, 상기 전방 우안 이미지와 상기 후방 모노 이미지를 스티칭 처리하여, 전방 공간에 대하여는 스테레오 이미지이며 후방 공간에 대하여는 모노 이미지인 다차원 360도 이미지를 생성하는 것을 특징으로 하는 다차원 360도 이미지 생성 시스템.
KR1020180132993A 2018-11-01 2018-11-01 다차원 360도 이미지 생성 시스템 KR20200050509A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180132993A KR20200050509A (ko) 2018-11-01 2018-11-01 다차원 360도 이미지 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132993A KR20200050509A (ko) 2018-11-01 2018-11-01 다차원 360도 이미지 생성 시스템

Publications (1)

Publication Number Publication Date
KR20200050509A true KR20200050509A (ko) 2020-05-12

Family

ID=70679579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132993A KR20200050509A (ko) 2018-11-01 2018-11-01 다차원 360도 이미지 생성 시스템

Country Status (1)

Country Link
KR (1) KR20200050509A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106549A (ko) 2017-03-21 2018-10-01 에스피테크놀러지 주식회사 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106549A (ko) 2017-03-21 2018-10-01 에스피테크놀러지 주식회사 360도 파노라마 영상 콘텐츠 처리 장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
CN106170822B (zh) 3d光场相机和摄影方法
CN102905145B (zh) 立体影像系统、影像产生方法、影像调整装置及其方法
US20120236114A1 (en) Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
JP2013042301A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011525075A (ja) 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
US11317080B2 (en) Image processing method and device, and three-dimensional imaging system
JP2020080101A5 (ko)
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
JP2022046260A5 (ja) 画像処理装置、画像処理方法、記録媒体およびプログラム
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
KR101025785B1 (ko) 3차원 실물 화상장치
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
CN110087059B (zh) 一种针对真实三维场景的交互式自由立体显示方法
WO2023056803A1 (zh) 一种全息展示方法及装置
KR20190053565A (ko) 스티칭 장치를 이용한 생방송 스티칭 방법
Zhang et al. A new 360 camera design for multi format VR experiences
KR20200050509A (ko) 다차원 360도 이미지 생성 시스템
JP2012134885A (ja) 画像処理装置及び画像処理方法
KR20200120282A (ko) 깊이 카메라와 입체영상 디스플레이 장치를 이용한 라이트 필드 디스플레이 시스템 및 방법
KR20160003355A (ko) 3차원 입체 영상 처리 방법 및 시스템
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
JP2013250757A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right