KR20040050888A - 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램 - Google Patents

비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20040050888A
KR20040050888A KR10-2003-7008851A KR20037008851A KR20040050888A KR 20040050888 A KR20040050888 A KR 20040050888A KR 20037008851 A KR20037008851 A KR 20037008851A KR 20040050888 A KR20040050888 A KR 20040050888A
Authority
KR
South Korea
Prior art keywords
image
dimensional
mapping
coordinate system
planar image
Prior art date
Application number
KR10-2003-7008851A
Other languages
English (en)
Inventor
프란크 니엘센
고스께 스즈끼
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20040050888A publication Critical patent/KR20040050888A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G06T3/12—
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

구면 또는 원통면 등의 3차원 좌표계 상에 맵핑된 화상을, 전방위의 화소 정보를 적은 오차로, 정보량을 되도록 동일하게 유지하면서, 용장성이 낮게 되도록 2차원 화상으로 맵핑하여, 압축·축적·재생 등의 처리를 적절히 행한다. 전방위 영상 재생측의 성능을 고려한 형식으로 2차원 화상으로 변환하는 것이 바람직하다. 원래의 전방위 화상의 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하여, 임의 시점 방향으로부터의 전방위 영상을 합성할 때에 이용할 수 있다.

Description

비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램{NON-FLAT IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, RECORDING MEDIUM, AND COMPUTER PROGRAM}
사용자 주위의 풍경 화상을 제공하는 장치로서 전방위 카메라가 알려져 있다. 이러한 종류의 전방위 영상 시스템은 예를 들면, 공간 중의 임의의 1개의 점을 시점으로 하여 주위의 화상을 촬영하도록 복수의 카메라가 설치되어 구성된다. 복수의 카메라로 이루어진 전방위 영상 시스템은 인접하는 카메라의 촬상 화상의 경계끼리 잘 접속됨으로써, 개개의 카메라의 시야보다도 훨씬 넓은 영역의 화상을 마치 단일 광각(廣角) 카메라로 촬상한 것 같은 화상을 생성하는 화상 처리를 행한다.
시야각이 넓은 렌즈를 이용하면 카메라는 광범위를 촬상할 수 있지만, 그 만큼 해상도가 저하되어 세부적인 것을 보기 어렵게 된다. 이것에 대하여, 전방위 영상 시스템에 따르면, 광범위한 촬상 화상을 고해상도대로 제공할 수 있다.
이러한 전방위형의 영상을 이용함으로써, 시점 자유형의 영상을 시청할 수 있다. 예를 들면, 캐릭터(등장 인물)가 공간을 자유롭게 돌아다니는 등의 텔레비전 게임 등에서, 임의의 시점으로부터의 배경 화면을 표시할 수 있으므로, 보다 현실적인 영상을 통해 게임을 즐길 수 있어서, 엔터테인먼트성이 높아진다.
또한, 전방위 영상은 통상의 영상에 비해 대용량이지만, 인터랙티브성이 우수하기 때문에, 브로드밴드 네트워크시대의 새로운 콘텐츠로서 유망하다.
전방위 영상 시스템에 관해서는 이미 몇가지의 제안이 이루어져 있다. 예를 들면, 일본 특개평9-62861호 공보에는 사용자의 지정에 따라 시점, 시선 방향을 연속적으로 변화시킨 파노라마 영상을 표시할 수 있는 파노라마 영상 편집 장치에 대하여 개시되어 있다. 그 공보에 기재된 파노라마 영상 편집 장치는 공간 내를 임의의 궤적을 그리며 이동하는 점을 시점으로 하여 그 주위를 촬영한 화상의 화상데이터를 기초로 각 시점마다의 파노라마 화상을 합성하고, 각 파노라마 화상에 연속한 시점 위치 정보를 설정한다. 재생 시에는 표시 화상의 시점 위치나 시선 방향의 정보와, 사용자가 입력하는 시점과 시선의 이동 방향의 정보로부터, 표시 화상의 공간 내에서의 위치를 계산하여, 표시 화상을 합성하도록 되어 있다.
그러나, 종래에는 표시 장치로서 텔레비전 등의 고화질이나 임의 시점의 영상의 합성에 관하여 리얼 타임성이 요구되는 바와 같은 상황을 특별히 상정하지는 않았다. 또한, 화상의 표시·재생측의 성능이나 조건을 고려하여 전방위 영상을 축적하는 방법에 대해서는 아무런 언급도 되어 있지 않다. 또한, 내측으로부터 임의 시점 방향을 보는 것 뿐만 아니라, 외측으로부터의 이용을 고려한 화상 축적 방법에 대하여 고려되고 있지 않다.
<발명의 개시>
본 발명의 목적은 복수의 카메라에 의해 촬영된 영상 데이터를 접합하며 비평면 형상으로 구성된 화상에 대하여 압축, 축적, 재생 등의 처리를 적합하게 행할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램을 제공하는 것에 있다.
본 발명의 다른 목적은 공간 중의 임의의 1개의 점을 시점으로 하여 주위의 화상을 촬영하도록 복수의 카메라가 설치되어 구성된 전방위 카메라 또는 전천구형 카메라에 의한 원통형 또는 구면형의 화상 처리를 적합하게 행할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램을 제공하는 것에 있다.
본 발명의 또 다른 목적은 전방위 영상과 같은 비평면 화상을 표시·재생측의 성능을 고려하여 축적 처리할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램을 제공하는 것에 있다.
본 발명은 상기 과제를 고려하여 이루어진 것으로, 그 제1 양태는 3차원 좌표계로 표시되는 비평면 화상을 처리하는 화상 처리 장치 또는 화상 처리 방법으로서,
3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 수단 또는 단계와,
원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 수단 또는 단계를 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치 또는 화상 처리 방법이다.
여기서, 3차원 좌표계로 표시되는 비평면 화상은 예를 들면, 구면형의 전방위 화상이다. 이러한 경우, 상기 2차원 평면 화상 맵핑 수단은 전방위의 화소 정보를 적은 오차로, 정보량을 되도록이면 동일하게 유지하면서, 용장성이 낮은 2차원 화상으로 변환하는 것이 바람직하다. 또한, 전방위 영상을 판독하는 시스템측의 성능을 고려한 형식으로 2차원 화상으로 변환하는 것이 바람직하다.
또한, 2차원 화상 맵핑 정보는 원래의 전방위 화상의 3차원 좌표계 (Θ, Φ, γ)와, 맵핑된 2차원 화상 좌표계 (TX, TY)와의 대응 관계를 기술한 정보로, 임의 시점 방향으로부터 전방위 영상을 합성할 때에 필요해진다. 2차원 화상 맵핑 정보는 전방위 영상을 외측으로부터 볼 때, 임의의 형상으로 재생하기 위해서 필요한 정보이다.
상기 2차원 평면 화상 맵핑 수단 또는 단계는 2차원 평면의 가로 방향에 구면의 수평 방향의 각도를, 세로 방향에 구면의 수직 방법의 각도를 등간격으로 할당하도록 해도 된다. 이 경우, 상기 맵핑 정보 생성 수단은 2차원 평면 화상의 각 행 및 열로 할당된 구면 상의 수평 방향 및 수직 방향의 각도로 기술된 맵핑 정보를 생성하여도 된다.
이러한 맵핑 방법에 의한 경우, 공간적·시간적 상관이 높고, 또한 구면으로부터 2차원 평면으로의 변환식 즉, 2차원 맵핑 정보가 간단하다는 이점이 있다. 또한, 맵핑된 2차원 평면 화상으로부터 원래의 전방위 화상의 전체 상(像)을 인간이 파악하기 쉽다. 단, 맵핑된 2차원 평면의 상하부(지도로 말하면 극부)에서는 왜곡이 커져서(밀도가 적도 부근에 비해 낮아짐), 모든 방향에 대하여 각 화소에 포함된 정보가 동일하게 유지될 수 없다.
혹은, 상기 2차원 평면 화상 맵핑 수단은 구면의 수평 방향 및/또는 수직 방향의 각도를 2차원 평면의 가로 방향 및/또는 세로 방향으로 임의의 간격으로 할당하도록 해도 된다. 예를 들면, 가로 방향 및 세로 방향이 임의의 각도 범위로 구획된 영역의 밀도 즉, 정보량을 높이는 등의 유연성을 갖게할 수 있다. 이 때의 2차원 화상 맵핑 정보는 각 행과 열로 할당된 각도로 된다.
또한, 3차원 좌표계로 표시되는 비평면 화상이 구면형의 전방위 화상일 때, 상기 2차원 평면 화상 맵핑 수단 또는 단계는 면적 비율이 정확히 되도록 구면을원통으로 투영하고, 해당 원통을 평면으로 전개하여 2차원 평면 화상으로 맵핑하여도 된다.
이러한 맵핑 방법에 따르면, 정적(equal area)까지 각 화소에 포함된 정보량이 같아지는 공간적·시간적 상관 관계가 높은, 구면으로부터 2차원 평면으로의 변환식 즉, 2차원 화상 맵핑 정보가 간단하다는 이점이 있다.
또한, 상기 2차원 평면 화상 맵핑 수단 또는 단계는 3차원 좌표계로 표시되는 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되도록 2차원 평면 화상으로 맵핑하여도 된다.
예를 들면, 3차원 좌표계로 표시되는 비평면 화상이 구면형의 전방위 화상인 경우에, 상기 2차원 평면 화상 맵핑 수단은 구의 z축을 등간격으로 평행한 평면으로 절단하였을 때에 인접하는 평면 사이에 위치하는 구면 상의 면적은 일정하다는 정리를 이용하여, 3차원 극좌표계에서 Z축 방향으로 등간격인 범위로 구획되는 구면 상의 영역을 2차원 직교 좌표계에서 등간격인 범위로 구획되는 띠 형상의 평면 영역에 랜덤하게 맵핑하도록 함으로써, 구면으로부터 균일하게 화소를 샘플링할 수 있다는 것을 예로 들 수 있다.
단, 이러한 맵핑 방법에서는, 계산 처리가 다소 걸리는, 2차원 평면으로의 맵핑 화상으로부터는, 원래의 전방위 화상의 전체 상을 파악하기 어렵다는 등의 결점을 수반한다. 또한, 2차원 화상 맵핑 정보는 화소 단위로 기술되기 때문에, 전방위 영상의 표시·재생을 영역마다 행하는 방식에서는 사용할 수 없다. 또한, 랜덤한 장소의 화소에 맵핑되어 있으므로, 2차원 화상으로부터 전방위 영상을 표시·재생할 때에, 점(Θ, Φ)의 화소값을 보간하기 위해서는 인접 화소를 효율적으로 탐색하지 않으면 안된다.
또한, 상기 2차원 평면 화상 맵핑 수단 또는 단계는 1행이 w화소로 이루어진 2차원 평면 화상의 1행 j열째에, Hammersely Sequence를 이용하여 iw+j번째에 전방위 화상으로부터 추출한 점을 맵핑함으로써, 3차원 좌표계로 표시된 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보가 보다 동일하게 유지되도록 2차원 평면 화상으로 맵핑할 수 있다.
단, 이러한 맵핑 방법에서는 계산 처리가 다소 걸리는, 2차원 평면으로의 맵핑 화상으로부터는 원래의 전방위 화상의 전체 상을 파악하기 어렵다는 등의 결점을 수반한다. 또한, 2차원 화상 맵핑 정보는 화소 단위로 기술되기 때문에, 전방위 영상의 표시·재생을 영역마다 행하는 방식에서는 사용할 수 없다. 또한, 인접 화소라고 해서 반드시 인접하여 맵핑되어 있는 것은 아니기 때문에, 2차원 화상으로부터 전방위 영상의 표시·재생 시에, 점(Θ,Φ)의 화소값을 보간하기 위해서는 인접 화소를 효율적으로 탐색해야 한다.
또한, 3차원 좌표계로 표시되는 비평면 화상이 원통형의 전방위 화상인 경우에는 상기 2차원 평면 화상 맵핑 수단 또는 단계는 해당 원통을 세로로 절단하여 장방형으로 전개하고, 또한 해당 장방형 화상을 등분할하여 분할된 각 단편을 위에서부터 순서대로 위치시켜, 규정된 포맷 사이즈에 맞게 하여도 된다.
또한, 본 발명의 제1 양태에 따른 비평면 화상의 화상 처리 장치 또는 화상 처리 방법은 맵핑된 2차원 평면 화상 정보를 소정의 압축 포맷으로 압축하는 화상압축 수단 또는 단계를 더 포함하여도 된다.
동화상에 대해서는, MPEG-1, MPEG-2, MPEG-4, H.263, H.261, AVI, Motion JPEG 등, 또한 정지 화상에 대해서는 JPEG, GIF, PNG, BMP, TIFF 등의 압축 포맷을 채용할 수 있다.
예를 들면, 면적 비율이 정확히 되도록 구면형의 전방위 영상을 원통에 투영하고, 해당 원통을 평면으로 전개하여 2차원 평면 화상으로 맵핑하는 경우에는, 2차원 평면 화상 정보에 화소가 맵핑되어 있지 않은 미사용 영역이 생긴다. 이러한 미사용 영역에 대하여 동일한 화소값을 할당함으로써, 공간적, 시간적인 상관 관계가 높아져서 압축률을 높일 수 있다.
이미 상술한 바와 같이, 맵핑 정보는 임의 시점 방향으로부터 전방위 영상을 합성하기 위해 필요한 데이터이다. 그래서, 본 발명의 제1 양태에 따른 비평면 화상의 화상 처리 장치 또는 화상 처리 방법은 상기 2차원 평면 화상 맵핑 수단 또는 단계에 의해 맵핑된 2차원 평면 화상 혹은 압축 화상과, 상기 맵핑 정보 생성 수단 또는 단계에 의해 생성된 맵핑 정보를 1조로 한 데이터 포맷으로 변환하는 데이터 포맷 변환 수단 또는 단계를 더 포함하여도 된다.
또한, 이 데이터 포맷 변환 수단 또는 단계는 영상 정보와 동기가 취해지는 형식으로 음성 정보를 인터리브하여 삽입하여도 된다.
또한, 데이터 포맷 변환 수단 또는 단계는 상기 2차원 평면 화상 맵핑 수단 또는 단계가 채용하는 맵핑 방법이 전환할 때마다 프레임의 선두에 맵핑 정보를 삽입하여도 된다.
또한, 본 발명의 제2 양태는 2차원 평면 화상으로 맵핑된 3차원 좌표계의 비평면 화상을 영상 표시하는 화상 처리 장치 또는 화상 처리 방법으로,
시점 방향 및/또는 줌값을 지정하는 지시 수단 또는 단계와,
2차원 평면 화상으로 맵핑했을 때의 맵핑 정보를 이용하여 상기 지정된 시점 방향 및/또는 줌값에 따른 임의 시점 방향의 3차원 형식의 영상을 생성하는 영상 생성 수단 또는 단계를 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치 또는 화상 처리 방법이다.
여기서, 상기 영상 생성 수단 또는 단계는 2차원 평면으로 맵핑되어 있는 비평면 화상으로부터, 소정의 영상 표시 장치가 갖는 2차원 표시 화면으로의 재맵핑을 행한다.
상기 영상 생성 수단 또는 단계는 시점 방향의 영상의 각 화소에 대하여 시점 방향 및/또는 줌값으로부터 극좌표를 계산하는 수단 또는 단계와, 2차원 화상 맵핑 정보를 참조하여 극좌표를 전방위 화상 좌표로 변환하는 수단 또는 단계를 포함하고, 임의 시점 방향의 전방위 영상을 화소 단위로 합성 처리하여도 된다.
혹은, 상기 영상 생성 수단 또는 단계는 2차원 화상 맵핑 정보를 이용하여 전방위 영상에 포함된 프리미티브의 각 정점에 대하여 전방위 화상 좌표를 극좌표로 변환하는 수단 또는 단계와, 시점 방향 및/또는 줌값으로부터 극좌표를 시점 방향의 화상 좌표로 변환하는 수단 또는 단계와, 전방위 영상을 텍스쳐로 하여 프리미티브 단위로 시점 방향 화상을 생성하는 수단 또는 단계를 포함하고, 임의 시점 방향의 전방위 영상을 영역 단위로 합성 처리하여도 된다.
또한, 상기 영상 생성 수단 또는 단계는 전방위 화상의 인접 화소를 기초로, 화소를 보간하는 수단 또는 단계를 더 포함하여도 된다. 또한, 화소 보정 시에, 전방위 화상의 좌우 양단 부근에 타단으로부터 소정폭만큼 복제한 화소 영역을 배치함으로써 화소 보정되지 않은 중간이 끊기는 현상의 출현을 방지할 수 있다.
또한, 상기 영상 생성 수단 또는 단계는 2차원 맵핑된 전방위 화상의 각 화소에 대하여 인접 화소를 검색하기 위한 룩업 테이블을 작성하는 수단 또는 단계와, 시점 방향의 영상의 각 화소에 대하여 시점 방향 및 줌값으로부터 극좌표를 계산하는 수단 또는 단계와, 상기 룩업 테이블을 참조하여 시점 방향의 영상의 화소에 대응하는 극좌표에 인접하는 수단 또는 단계와, 인접 화소를 이용하여 극좌표를 화소 보간하는 수단 또는 단계와, 2차원 화상 맵핑 정보를 참조하여, 극좌표를 전방위 화상 좌표로 변환하는 수단 또는 단계를 포함하여도 된다.
이러한 상기 영상 생성 수단 또는 단계는 구의 z축을 등간격으로 평행한 평면으로 절단하였을 때에 인접하는 평면 사이에 위치하는 구면 상의 면적은 일정해진다는 정리를 이용하여, 3차원 극좌표계에서 Z축 방향으로 등간격인 범위로 구획되는 구면 상의 영역을 2차원 직교 좌표계에서 등간격인 범위로 구획되는 띠 형상의 평면 영역에 랜덤하게 맵핑된 2차원 평면 화상이나, Hammersley Sequence를 이용하여 iw+j번째에 전방위 화상으로부터 추출한 점을 맵핑함으로써, 3차원 좌표계로 표시되는 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보량이 보다 동일하게 유지되도록 맵핑된 2차원 평면 화상으로부터, 임의 시점 방향의 전방위 영상을 합성할 수 있다.
또한, 상기 영상 생성 수단은 임의 시점 방향의 영상 합성 시에 시점이 내측에 있을 때에 각종 렌즈의 카메라로 촬영한 영상을 의사적으로 실현할 수 있다. 예를 들면, 원은 핀홀 카메라로 촬영한 영상으로 구성된 전방위 영상을 기초로, 어안 렌즈로 촬영한 것 같은 시점 화상을 합성할 수 있다.
또한, 상기 영상 생성 수단은 임의 시점 방향의 영상 합성 시에 시점이 외측에 있을 때에 임의의 3차원 형상의 전방위 영상을 생성하여도 된다. 예를 들면, 다면체 등의 외측에 시점을 지정함으로써, 다면체의 표면에 전방위 영상을 부착할 수 있다. 이것에 의해, 종래에 없는 GUI(Graphical User Interface) 등의 이용이 가능하게 될 것으로 기대된다.
또한, 본 발명의 제3 양태는 3차원 좌표계로 표시되는 비평면 화상 처리를 컴퓨터 시스템 상에서 실행하도록 기술된 컴퓨터 소프트웨어를 컴퓨터 판독 가능 형식으로 물리적으로 저장한 기억 매체로서,
상기 컴퓨터 소프트웨어는,
3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 단계와,
원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 단계를 포함하는 것을 특징으로 하는 기억 매체이다.
또한, 본 발명의 제4 양태는 2차원 평면 화상으로 맵핑된 3차원 좌표계의 비평면 화상을 영상 표시하기 위한 처리를 컴퓨터 시스템 상에서 실행하도록 기술된컴퓨터 소프트웨어를 컴퓨터 판독 가능 형식으로 물리적으로 저장한 기억 매체로서,
상기 컴퓨터 소프트웨어는,
시점 방향 및/또는 줌값을 지정하는 지시 단계와,
2차원 평면 화상으로 맵핑했을 때의 맵핑 정보를 이용하여 그 지정된 시점 방향 및/또는 줌값에 따른 임의 시점 방향의 3차원 형상 영상을 생성하는 영상 생성 단계를 포함하는 것을 특징으로 하는 기억 매체이다.
본 발명의 제3 및 제4 각각의 양태에 따른 기억 매체는 예를 들면, 여러가지 프로그램 코드를 실행할 수 있는 범용 컴퓨터 시스템에 대하여, 컴퓨터 소프트웨어를 컴퓨터 판독 가능한 형식으로 제공하는 매체이다. 이러한 매체는 예를 들면, DVD(Digital Versatile Disc)나 CD(Compact Disc), FD(Flexible Disk), M O(Magneto-Optical disc) 등의 탈부착 가능한 가반성(可搬性)의 기억 매체이다. 혹은, 네트워크(네트워크는 무선, 유선을 구별하지 않음) 등의 전송 매체 등을 경유하여 컴퓨터 소프트웨어를 특정 컴퓨터 시스템에 제공하는 것도 기술적으로 가능하다.
이러한 기억 매체는 컴퓨터 시스템 상에서 소정의 컴퓨터 소프트웨어의 기능을 실현하기 위한 컴퓨터 소프트웨어와 기억 매체와의 구조상 또는 기능상의 협동적 관계를 정의한 것이다. 바꾸어 말하면, 본 발명의 제3 및 제4 각각의 양태에 따른 기억 매체를 통해 소정의 컴퓨터 소프트웨어를 컴퓨터 시스템에 인스톨함으로써, 컴퓨터 시스템 상에서는 협동적 작용이 발휘되어, 본 발명의 제1 및 제2 각각의 양태에 따른 비평면 화상의 화상 처리 장치 또는 화상 처리 방법과 마찬가지의 작용 효과를 얻을 수 있다.
또한, 본 발명의 제5 양태는 3차원 좌표계로 표시되는 비평면 화상 처리를 컴퓨터 시스템 상에서 실행하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램으로,
3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 단계와,
원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램이다.
또한, 본 발명의 제6 양태는 2차원 평면 화상으로 맵핑된 3차원 좌표계의 비평면 화상을 영상 표시하기 위한 처리를 컴퓨터 시스템 상에서 실행하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램으로,
시점 방향 및/또는 줌값을 지정하는 지시 단계와,
2차원 평면 화상으로 맵핑했을 때의 맵핑 정보를 이용하여 그 지정된 시점 방향 및/또는 줌값에 따른 임의 시점 방향의 3차원 형상 영상을 생성하는 영상 생성 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램이다.
본 발명의 제5 및 제6 각각의 양태에 따른 컴퓨터 프로그램은 컴퓨터 시스템 상에서 소정의 처리를 실현하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 바꾸어 말하면, 본 발명의 제5 및 제6 각각의 양태에 따른컴퓨터 프로그램을 컴퓨터 시스템에 인스톨함으로써, 컴퓨터 시스템 상에서 협동적 작용이 발휘되어, 본 발명의 제1 및 제2 각각의 양태에 따른 비평면 화상의 화상 처리 장치 또는 화상 처리 방법과 마찬가지의 작용 효과를 얻을 수 있다.
본 발명의 또 다른 목적, 특징이나 이점은 후술하는 본 발명의 실시 형태나 첨부한 도면에 기초하는 보다 상세한 설명에 의해 분명해질 것이다.
본 발명은 카메라에 의해 촬영된 영상 데이터에 대하여 압축, 축적, 재생 등의 처리를 행하는 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램에 관한 것으로, 특히 복수의 카메라에 의해 촬영된 영상 데이터를 접합하여 구성된 화상에 대하여 압축, 축적, 재생 등의 처리를 행하는 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램에 관한 것이다.
보다 상세하게는, 본 발명은 복수의 카메라에 의해 촬영된 영상 데이터를 접합하며 비평면 형상으로 구성되는 화상에 대하여 압축, 축적, 재생 등의 처리를 행하는 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램에 관한 것으로, 특히 공간 중의 임의의 1개의 점을 시점으로 하여 주위의 화상을 촬영하도록 복수의 카메라가 설치되어 구성된 전(全)방위 카메라 또는 전(全)천구형(天球型) 카메라에 의한 원통형 또는 구면형의 화상 처리를 행하는 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램에 관한 것이다.
도 1은 본 발명의 실시에 제공되는 전방위 영상 생성 시스템(10)의 구성을 모식적으로 도시한 도면.
도 2는 전방위 촬영 장치(11)의 구성예를 도시하는 도면.
도 3은 전방위 촬영 장치(11)의 다른 구성예를 도시하는 도면.
도 4는 전방위 촬영 장치(11)의 구성예를 도시하는 도면.
도 5는 전방위 영상 합성 장치(12)에서의 기능 구성을 모식적으로 도시하는 도면.
도 6은 전방위 영상 데이터 포맷 변환부(26)에 의해 변환된 2차원 화상 맵핑 정보와 영상 데이터를 1조로 한 데이터 포맷의 구성예를 도시하는 도면.
도 7은 전방위 영상 합성 장치(12) 및 전방위 영상 축적 장치(13)로서 적용되는 컴퓨터 시스템(100)의 구성을 모식적으로 도시하는 도면.
도 8은 3차원 좌표계의 화상을 2차원 평면 화상으로 맵핑하는 방법의 일례를 나타내는 도면으로, 보다 구체적으로는 구면을 원통으로 투영하여 평면으로 전개하는 방법을 나타내는 도면.
도 9는 옥외의 임의의 장소에서 촬영된 전방위 화상을 도 8에 도시한 바와 같은 원통 투영법으로 2차원 평면으로 맵핑한 화상의 예를 도시하는 도면.
도 10은 3차원 좌표계의 화상을 2차원 평면 화상으로 맵핑하는 방법의 일례를 나타내는 도면으로, 보다 구체적으로는 도 8에 도시한 방법을 변형한 예를 나타내는 도면.
도 11은 구면을 원통으로 투영하여 평면으로 전개함으로써 3차원 좌표계의 화상을 2차원 평면 화상으로 맵핑하는 방법의 다른 예를 나타내는 도면으로, 보다 구체적으로는 산손도법에 의해 맵핑된 예를 나타내는 도면.
도 12는 도 11에 도시한 2차원 맵핑 화상의 미사용 영역에 동일한 배경색을 할당한 모양을 도시하는 도면.
도 13은 Stratified Random 법의 개념도를 도시하는 도면.
도 14는 Stratified Random 법의 처리 수순을 설명하기 위한 도면.
도 15는 옥외의 임의의 장소에서 촬영된 전방위 화상을 Stratified Random에 기초한 맵핑 방법에 의해 2차원 평면으로 맵핑한 화상의 예를 도시하는 도면.
도 16은 Hammersley Sequence에 의해 구면 상으로부터 1000개의 샘플링점을 추출한 모양을 도시하는 도면.
도 17은 Hammersley Sequence에 의해 구면 상으로부터 10000개의 샘플링점을 추출한 모양을 도시하는 도면.
도 18은 난수에 의해 구면 상으로부터 1000개의 샘플링점을 추출한 모양을 도시하는 도면.
도 19는 난수에 의해 구면 상으로부터 10000개의 샘플링점을 추출한 모양을 도시하는 도면.
도 20은 Hammersley Sequence를 이용하여 전방위 화상을 2차원 평면 화상으로 맵핑하는 모양을 도시하는 도면.
도 21은 옥외의 임의의 장소에서 촬영된 전방위 화상을 Hammersley Sequence에 기초한 맵핑 방법에 의해 2차원 평면으로 맵핑한 화상의 예를 도시하는 도면.
도 22는 원통형의 전방위 영상을 2차원 평면으로 맵핑하기 위한 방법을 설명하기 위한 도면.
도 23은 원통형으로부터 전개된 장방형 화상을 2 분할하여, 그 우측 절반을 좌측 절반 아래에 부착함으로써, 종횡비를 조정하고 있는 모양을 도시하는 도면.
도 24는 본 발명의 실시에 제공되는 전방위 영상 표시 시스템(50)의 구성을 모식적으로 도시하는 도면.
도 25는 임의 시점 방향 영상 합성 장치(53)에서의 기능 구성을 모식적으로 도시하는 도면.
도 26은 전방위 영상의 2차원 평면으로의 맵핑에 화소 방식을 채용한 경우에 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 데이터의 흐름을 모식적으로 도시하는 도면.
도 27은 전방위 영상의 2차원 평면으로의 맵핑에 영역 방식을 채용한 경우에 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 데이터의 흐름을 모식적으로 도시하는 도면.
도 28은 영역 방식을 채용한 경우의 임의 시점 방향의 영상을 합성하는 개념도.
도 29는 구형 또는 원통형의 전방위 화상을 2차원 평면으로 맵핑한 2차원 전방위 화상(단, 장방형 화상을 등분할하여 접합하고 있지 않은 경우)을 도시하는 도면.
도 30은 구형 또는 원통형의 전방위 화상을 2차원 평면으로 맵핑한 2차원 전방위 화상(단, 장방형 화상을 등분할하여 접합하고 있는 경우)을 도시하는 도면.
도 31은 선형 보간이 실시되지 않은 부분이 불필요한 선으로서 영상 표시 장치(54)의 화면 상에 나타나 있는 모양을 도시하는 도면.
도 32는 등분할된 각 단편의 양단에 연결된 부분의 매크로 블록을 중첩(overlap width)으로서 부가한 모양을 도시하는 도면(단, 장방형 화상을 등분할하여 접합하고 있지 않은 경우).
도 33은 등분할된 각 단편의 양단에 연결된 부분의 매크로 블록을 중첩으로서 부가한 모양을 도시하는 도면(단, 장방형 화상을 등분할하여 접합하고 있는 경우).
도 34는 수학적인 방법에 기초하여 맵핑된 2차원 화상으로부터 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 데이터의 흐름을 모식적으로 도시하는 도면.
도 35는 어안 렌즈를 이용하였을 때에 생성되는 시점 화상을 도시하는 도면.
도 36은 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의영상을 합성하기 위한 데이터의 흐름을 모식적으로 도시하는 도면.
도 37은 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의 영상을 합성한 예를 나타내는 도면으로, 보다 구체적으로는 입방체의 외측에 전방위 영상을 부착한 모양을 도시하는 도면.
도 38은 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의 영상을 합성한 예를 도시하는 도면으로, 보다 구체적으로는 정이십면체의 외측에 전방위 영상을 부착한 모양을 도시하는 도면.
도 39는 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의 영상을 합성한 예를 나타낸 도면으로, 보다 구체적으로는 정십이면체의 외측에 전방위 영상을 부착한 모양을 도시하는 도면.
도 40은 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의 영상을 합성한 예를 나타내는 도면으로, 보다 구체적으로는 도우넛 형상체의 외측에 전방위 영상을 부착한 모양을 도시하는 도면.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하면서 본 발명의 실시 형태에 대하여 상세히 설명하기로 한다.
A. 전방위 영상 생성 시스템
도 1에는 본 발명의 실시에 제공되는 전방위 영상 생성 시스템(10)의 구성을 모식적으로 도시하고 있다. 도 1에 도시한 바와 같이, 전방위 영상 생성 시스템(10)은 전방위 촬영 장치(11)와, 전방위 영상 합성 장치(12)와, 전방위 영상축적 장치(13)로 구성된다.
전방위 촬영 장치(11)는 N대의 카메라가 공간 중의 임의의 1개의 시점을 중심으로 하여 모든 방향의 영상을 촬영할 수 있도록 배치되어 구성된다. 각 카메라의 배치 구성예로서, 이하를 예로 들 수 있다.
(1) N대의 카메라를 방사형으로 배치한 구성. 예를 들면, 정십이면체와 같은 다면체의 구성면의 각각에 핀홀 카메라를 설치한 구성.
(2) 반사경을 통해 수평 방향으로 분할 촬영할 수 있도록 N대의 카메라를 배치한 구성.
(3) 어안 렌즈를 이용하여 1대의 카메라로 반구를 촬영하는 구성.
(4) 어안 렌즈를 이용한 카메라를 2대 조합하여 전방위(전체 천구) 영상을 촬영하는 구성.
(5) 1대의 카메라를 그 시점을 중심으로 회전시켜 전방위를 촬영하는 구성.
A-1. 전방위 촬영 장치
도 2에는 상술한 (1)을 채용한 전방위 촬영 장치(11)의 구성예를 도시하고 있다. 이 전방위 촬영 장치(11-1)는 12개의 대략 정오각형의 구성면으로 이루어진 대략 정십이면체(Dodecahedron) 형상의 프레임과, 그 프레임의 각 면 상에 1대씩 배치된 11대의 카메라를 포함하여 구성된다. 각 카메라는 주위의 풍경 중, 각각이 담당하는 영역을 촬상하여 주위 화상의 일부로서 공급할 수 있다. 각 카메라는 투영 중심을 갖는 핀홀 타입의 카메라로, 예를 들면, 소자 표면에 마이크로 렌즈를 조립한 CCD(Charge Coupled device: 전하 결합 소자) 카메라이어도 된다. 프레임의 저면에 상당하는 구성면은 받침대로서 사용되고 있다. 받침대의 일 측면에는 각 카메라에 의한 촬상 화상 데이터를 외부로 출력하기 위한 케이블류가 접속되어 있다. 각 카메라의 영상을 접합함으로써, 구면형의 전방위 화상이 얻어진다.
또한, 도 3에는 상술한 (2)를 채용한 전방위 촬영 장치(11)의 구성예를 도시하고 있다. 이 전방위 촬영 장치(11-2)는 소정의 원주 방향에 대략 등간격으로 배열된 8대의 카메라와, 각 카메라마다 그 시선 방향으로 배치된 8개의 평면 거울이 팔각뿔 상에 배치된 반사부로 구성된다. 여기서, 각 카메라의 투영 중심이 전방위 촬영 장치(11-2)의 중앙 부근에서 일치하도록 또한, 각 카메라의 시선 방향이 1개의 수평면 상에서 소정 각도로 간격을 두도록 각 카메라가 배치되어 있다. 각 평면 거울에서 반사된 주위의 정경을 반사 방향으로 향한 카메라로 촬영함으로써, 전방위 촬영 장치(11-2) 전체로서는 수평 방향 360°의 영상의 거울상을 촬영할 수 있다. 각 카메라의 영상을 반전, 접합 등의 처리를 행함으로써, 원통형의 전방위 화상을 얻을 수 있다.
도 4에 도시한 바와 같이, 각 카메라에 VTR를 접속함으로써, 합계 8개의 영상(및 음성) 스트림을 기록할 수 있다. 이들 기록된 영상 스트림을 전환기를 통해 비디오 캡쳐링하고, 컴퓨터 데이터(비트맵 파일)로서 후단의 전방위 영상 합성 장치(12)에 공급하여, 구면이나 원통으로의 3차원 화상 맵핑 등 각종 데이터 가공을 행할 수 있다.
A-2. 전방위 영상 합성 장치
도 5에는 전방위 영상 합성 장치(12)에서의 기능 구성을 모식적으로 도시하고 있다. 도 5에 도시한 바와 같이, 전방위 영상 합성 장치(12)는 렌즈 왜곡·색·휘도·콘트라스트·퍼스펙티브 보정부(21)와, 3차원 좌표계로의 맵핑부(22)와, 2차원 화상으로의 맵핑부(23)와, 동화상 정지 화상 압축부(24)와, 맵핑 정보 생성부(25)와, 전방위 영상 데이터 포맷 변환부(26)로 구성된다.
렌즈 왜곡·색·휘도·콘트라스트·퍼스펙티브 보정부(21)는 전방위 촬영 장치(11)에 의해 촬영된 N대의 카메라의 영상 데이터(동화상 또는 정지 화상)를 입력받아 각 카메라의 카메라 파라미터를 기초로, 렌즈 왜곡 보정, 색 보정, 휘도 보정, 콘트라스트 보정, 퍼스펙티브 보정 등의 처리를 프레임 단위로 행한다.
3차원 좌표계로의 맵핑부(22)는 보정부(21)에 의해 보정된 N개의 영상으로부터 동기가 취해진 정지 화상을 1개씩 선택하고, 이 N개의 화상과 촬영에 사용되는 대응하는 카메라의 카메라 파라미터를 이용하여, 각 화상을 1개의 3차원 좌표계(극좌표계)에서 구면 또는 원통면 상으로 맵핑한다.
2차원 화상으로의 맵핑부(23)는 구면 또는 원통면 등의 3차원 좌표계 상에 맵핑된 화상을 2차원 평면 화상으로 맵핑한다. 전방위의 화소 정보를 적은 오차로 정보량을 되도록이면 동일하게 유지하면서, 용장성이 낮은 2차원 화상으로 변환하는 것이 바람직하다. 또한, 전방위 영상을 판독하는 시스템(후술)측의 성능을 고려한 형식으로 2차원 화상으로 변환하는 것이 바람직하다.
또, 구면이나 원통면 등의 3차원 좌표계에 맵핑된 비평면 화상을 2차원 화상으로 맵핑하는 방법에 대해서는 몇가지 예를 들 수 있지만, 그 상세에 대해서는 후술하기로 한다.
맵핑 정보 생성부(25)는 2차원 화상으로의 맵핑부(23)에서 적용된 맵핑 방법에 따라, 전방위 영상 표시 시스템(후술)에서 화상의 표시·재생에 필요한 2차원 화상 맵핑 정보를 작성한다. 여기서 말하는 2차원 화상 맵핑 정보는 원래의 전방위 화상의 3차원 좌표계 (Θ, Φ, γ)와, 맵핑된 2차원 화상 좌표계 (TX, TY)와의 대응 관계를 기술한 정보이다. 2차원 화상 맵핑 정보는 전방위 영상을 외측으로부터 볼 때, 임의의 형상으로 재생하기 위해 필요한 정보이다(후술).
2차원 화상으로의 맵핑부(23)는 전체 프레임에 대하여 맵핑 처리를 행한다. 맵핑 방법은 프레임 단위로 전환하는 것이 가능하지만, 이 경우, 맵핑 정보 생성부(25)는 그 때마다 맵핑 정보를 생성한다.
동화상 정지 화상 압축부(24)는 2차원 화상으로의 맵핑부(23)에 의해 생성된 2차원의 정지 화상 혹은 동화상을 압축한다. 압축 포맷으로서는 동화상에 대해서 MPEG-1, MPEG-2, MPEG-4, H.263, H.261, AVI, Motion JPEG 등, 또한 정지 화상에 대해서는 JPEG, GIF, PNG, BMP, TIFF 등 2차원 화상을 취급할 수 있는 기존의 포맷를 사용할 수 있다.
전방위 영상 데이터 포맷 변환부(26)는 맵핑 정보 생성부(25)에 의해 생성된 2차원 화상 맵핑 정보와, 동화상 정지 화상 압축부(24)에 의해 생성된 압축 영상을 1조로 한 데이터 포맷으로 변환한다. 도 6에는 이 데이터 포맷의 구조를 모식적으로 도시하고 있다.
도시한 데이터 포맷에는 영상 정보와 음성 정보의 동기가 취해지는 형식으로 인터리브하여 삽입하는 것도 가능하다. 2차원 화상 맵핑 정보는 영상 정보에 대하여 적용되는 2차원 화상 맵핑 방법으로부터 전환할 때마다, 그 프레임의 선두에 삽입한다. 즉, 모든 프레임에 대하여 동일한 2차원 화상 맵핑 방법을 사용하는 경우에는 선두에 1개만 2차원 화상 맵핑 정보를 포함하고 있으면 된다. 또한, 표시·재생측(전방위 영상 표시 시스템)에서 필요한 2차원 맵핑 정보를 포함하고 있는 경우에는 데이터 포맷으로부터 2차원 맵핑 정보를 생략할 수 있다.
예를 들면, 표시·재생측에서, 화소 단위로 2차원 화상을 재생하고자 하는 경우, 각 화소마다 맵핑 정보를 갖지 않으면 안되고, 맵핑 정보만으로 데이터가 비대화되어 영상이나 음성에 할당되는 데이터가 감소하기 때문에, 맵핑 정보를 생략할 수 있는 것이 바람직하다. 또한, 화소가 아니라, 소정 면적을 갖는 영역 단위로 2차원 화상을 재생하고자 하는 경우에서도, 3차원 좌표계로 재맵핑할 때에 2차원 화상 맵핑 정보를 순차 사용하는 것보다도 변환식으로 계산하는 것이 고속인 경우에는 맵핑 정보의 분량만큼 데이터를 삭감하는 것이 바람직하다.
A-3. 전방위 영상 축적 장치
전방위 영상 축적 장치(13)는 하드 디스크나 DVD(Digital Versatile Disc)와 같은 일반적인 컴퓨터 시스템의 외부 기억 장치를 이용하여 구성될 수 있다.
또한, 전방위 영상 합성 장치(12) 및 전방위 영상 축적 장치(13)를 단일 또는 복수의 컴퓨터 시스템 상에서 소정의 화상 처리·축적 어플리케이션을 기동하는 형태로 실현하는 것도 가능하다.
도 7에는 전방위 영상 합성 장치(12) 및 전방위 영상 축적 장치(13)로서 적용되는 컴퓨터 시스템(100)의 구성을 모식적으로 도시하고 있다. 이하, 이 도면을참조하면서, 컴퓨터 시스템(100)에 대하여 설명하기로 한다.
시스템(100)의 메인 컨트롤러인 CPU(Central Processing Unit)(101)는 오퍼레이팅 시스템(OS)의 제어 하에서, 각종 어플리케이션을 실행한다. CPU(101)는 예를 들면, 구면이나 원통면 상에 그려진 3차원 화상을 2차원 평면 화상으로 변환하거나, 변환 후의 2차원 평면 화상을 압축·축적 처리하기 위한 비평면 화상 처리 어플리케이션을 실행할 수 있다. 도시한 바와 같이, CPU(101)는 버스(108)에 의해 다른 기기류(후술)와 상호 접속되어 있다.
메모리(102)는 CPU(101)에서 실행되는 프로그램 코드를 저장하거나, 실행 중인 작업 데이터를 일시 보관하기 위해 사용되는 기억 장치이다. 도 7에 도시하는 메모리(102)는 ROM 등의 불휘발성 메모리 및 DRAM 등의 휘발성 메모리 둘 다를 포함하는 것으로 이해할 수 있다.
디스플레이 컨트롤러(103)는 CPU(101)가 발행하는 묘화 명령을 실제로 처리하기 위한 전용 컨트롤러이다. 디스플레이 컨트롤러(103)에서 처리된 묘화 데이터는 예를 들면, 프레임 버퍼(도시하지 않음)에 일단 기입된 후, 디스플레이(111)에 의해 화면 출력된다.
입력 기기 인터페이스(104)는 키보드(KBD)(112)나 마우스(113) 등의 사용자 입력 기기를 계산기 시스템(100)에 접속하기 위한 장치이다.
네트워크·인터페이스(105)는 Ethernet 등의 소정의 통신 프로토콜에 따라, 시스템(100)을 LAN(Local Area Network) 등의 국소적 네트워크, 또한 인터넷과 같은 광역 네트워크에 접속할 수 있다.
네트워크 상에서는 복수의 호스트 단말기(도시되지 않음)가 트랜스 페어런트인 상태로 접속되어, 분산 컴퓨팅 환경이 구축되어 있다. 네트워크 상에서는 소프트웨어 프로그램이나 데이터 콘텐츠 등의 배신이 행해질 수 있다. 예를 들면, 구면이나 원통면 상에 그려진 3차원 화상을 2차원 평면 화상으로 변환하거나, 변환 후의 2차원 평면 화상을 압축·축적 처리하기 위한 비평면 화상 처리 어플리케이션을 네트워크 경유하여 다운로드할 수 있다. 또, 이 비평면 화상 처리 어플리케이션에 의해 압축된 화상 데이터를 네트워크 경유하여 배신할 수도 있다.
외부 기기 인터페이스(107)는 하드 디스크 드라이브(HDD)(114)나 미디어 드라이브(115) 등의 외부 장치를 시스템(100)에 접속하기 위한 장치이다.
HDD(114)는 기억 저장체로서의 자기 디스크를 고정적으로 탑재한 외부 기억 장치로서(공지), 기억 용량이나 데이터 전송 속도 등의 관점에서 다른 외부 기억 장치보다 우수하다. 소프트웨어 프로그램을 실행 가능한 상태로 HDD(114) 상에 두는 것을 프로그램의 시스템으로의 "인스톨"이라 부른다. 통상, HDD(114)에는 CPU(101)가 실행해야 할 오퍼레이팅 시스템의 프로그램 코드나, 어플리케이션 프로그램, 디바이스 드라이버 등이 불휘발적으로 저장되어 있다.
예를 들면, 구면이나 원통면 상에 그려진 3차원 화상을 2차원 평면 화상으로 변환하거나, 변환 후의 2차원 평면 화상을 압축·축적 처리하기 위한 비평면 화상 처리 어플리케이션을 HDD(114) 상에 인스톨할 수 있다. 또, 이 비평면 화상 처리 어플리케이션의 처리 대상이 되는 3차원 비평면 화상이나, 2차원 평면으로 변환된 화상이나 그 압축 화상 데이터 등을 HDD(114) 상에 보존할 수도 있다.
미디어 드라이브(115)는 CD(Compact Disc)나 MO(Magneto-Optical disc), DVD(Digital Versatile Disc) 등의 가반형 미디어를 장착하고, 그 데이터 기록면에 액세스하기 위한 장치이다.
가반형 미디어는 주로, 소프트웨어 프로그램이나 데이터 파일 등을 컴퓨터 판독 가능 형식의 데이터로서 백업하는 목적이나, 이들을 시스템 사이에서 이동(즉, 판매·유통·배포를 포함)할 목적으로 사용된다. 예를 들면, 구면이나 원통면 상에 그려진 3차원 화상을 2차원 평면 화상으로 변환하거나, 변환 후의 2차원 평면 화상을 압축·축적 처리하기 위한 비평면 화상 처리 어플리케이션을 이들 가반형 미디어를 이용하여 복수의 기기 사이에서 물리적으로 유통·배포할 수 있다. 또한, 이 비평면 화상 처리 어플리케이션의 처리 대상이 되는 3차원 비평면 화상이나, 2차원 평면으로 변환된 화상이나 그 압축 화상 데이터 등을 이들 가반형 미디어를 이용하여 복수의 기기 사이에서 물리적으로 유통·배포할 수 있다.
비디오 캡쳐 카드(109)는 전방위 촬영 장치(11)로부터의 입력 신호, 즉 전환기를 통해 접속되는 각 VTR로부터 재생되는 비디오 신호를 컴퓨터 데이터(비트맵 파일)로서 컴퓨터 내에 저장하기 위한 장치이다.
도 7에 도시한 바와 같은 컴퓨터(100)의 일례는 미국 IBM사의 퍼스널 컴퓨터 "PC/AT(Personal Computer/Advanced Technology)"의 호환기 또는 후계기(後繼機)이다. 물론, 다른 아키텍처를 구비한 컴퓨터를 본 실시 형태에 따른 컴퓨터(100)로서 적용하는 것도 가능하다.
A-4. 3차원 좌표계 화상의 2차원 평면으로의 맵핑
이미 설명한 바와 같이, 본 실시 형태에 따른 전방위 영상 합성 시스템(10)은 예를 들면, 도 2에 도시한 바와 같은 전방위 촬영 장치(11)에 의해 촬영된 전방위 영상을 취급하는 시스템이다. 이러한 종류의 전방위 영상은 본래, 극좌표계에서 구면 혹은 원통으로 맵핑된 비평면형의 3차원 화상으로, 2차원 화상을 취급하는 것을 전제로 한 기존의 압축 포맷으로 취급하기에는 적합하지 않다. 바꿔 말하면, 데이터의 압축, 축적, 전송 등의 처리를 행하기 위해서는 구면이나 원통면 등의 3차원 좌표계의 비평면 상에서 표현된 전방위 화상을 2차원 평면 화상으로 맵핑할 필요가 있다.
3차원 좌표계의 화상을 2차원 평면 화상으로 맵핑하는 방법에는 몇가지를 예로 들 수 있지만, 이하에 기술하는 조건에 따라 최적의 맵핑 방법을 선택하는 것이 바람직하다.
(1) 구면을 평면으로 전개하기 위해서는 구면의 표면 중 어디를 늘릴지, 또는 어떤 부분에 단열(斷裂)을 넣지 않으면, 평면으로 할 수 없다. 즉, 구면 형상을 그대로 평면으로 전개하는 것은 불가능하며 반드시 오차가 생긴다. 될 수 있는 한 오차를 적게 하면서 구면으로부터 평면에 투영하는 방법이 바람직하다. 구면을 평면으로 맵핑할 때, 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되어 있는 것, 즉 모든 방향에 대하여 화소가 등(等)면적으로 취급되는 것이 바람직하다.
(2) 전방위 영상을 표시·재생하는 전방위 영상 표시 시스템(후술)에서, 전방위 영상 축적 장치와 임의 시점 방향 영상 합성 장치 간이 네트워크로 연결되어있는 경우, 혹은 전방위 영상 축적 장치가 DVD 등의 기록 미디어라고 하여도 전송 속도에는 제한이 있다. 전송 속도가 한정되어 있을 때, 압축율도 전송 속도에 따라 제한되기 때문에, 용장성이 낮은 것이 바람직하다. 또한, 표준 압축 방법(예를 들면, MPEG-2)으로 압축하기 쉬운(예를 들면, 공간·시간 상관 관계가 높음) 것이 바람직하다.
(3) 전방위 영상 표시 시스템에서 리얼 타임 처리가 필요하고, 또한 그 처리 성능이나 자원에 제한이 있을 가능성이 있을 것을 고려하면, 구면으로부터 평면으로의 변환을 위한 연산 처리가 간단한 것이 바람직하다.
(4) MPEG-2 등의 압축 포맷에 따라서는 해상도에 제한이 있는 경우가 있다. 또한, 전방위 영상 표시 시스템에서, 영역 단위로 임의 시점 방향의 영상이 합성되는 경우(후술)에는 영상 표시 장치에 전송하는 영상을 일시적으로 유지하는 텍스처 버퍼에 임의 시점 방향의 영상이 아니라 전방위 영상이 전송되는 경우가 있지만, 이 텍스처 버퍼에 제한이 있는 경우가 있다. 이와 같이 해상도에 제한이 있을 때에는 그것을 만족하도록 2차원 화상으로 변환하지 않으면 안된다.
여기서, 구면이나 원통 등의 3차원 좌표계의 화상을 2차원 평면 화상으로 맵핑하는 방법의 구체예에 대하여 설명하기로 한다.
A-4-1. 구형의 전방위 영상의 2차원 평면으로의 맵핑 방법
구면을 평면으로 맵핑하는 방법으로서는 지구를 평면 상의 세계 지도에 투영하는 지도 투영법이 잘 알려져 있다. 일반적인 지도 투영법을 이용하여 구형의 전방위 영상을 평면으로 전개한 경우, 구면 상의 묘화 내용과 유사한 모양이 평면 상에 투영되기 때문에, 맵핑 후의 2차원 평면 화상으로부터 원래의 전방위 화상의 전체 상을 인간이 파악하기 쉽다는 이점이 있다.
예를 들면, 도 8에 도시한 바와 같이 구면을 원통으로 투영하고, 이 원통을 평면으로 전개하는 방법을 들 수 있다. 도 8에 도시한 예에서는, 2차원 평면의 가로 방향에 구면의 수평 방향의 각도를, 세로 방향에 구면의 수직 방법의 각도를 등간격으로 할당하고 있다. 이 때의 2차원 화상 맵핑 정보는 각 행과 열로 할당한 각도의 데이터로 된다.
도 9에는 옥외의 임의의 장소에서 촬영된 전방위 화상을 도 8에 도시한 바와 같은 원통 투영법으로 2차원 평면으로 맵핑한 화상의 예를 도시하고 있다.
이러한 맵핑 방법에서는 맵핑된 2차원 평면의 상하부(지도로 말하면 극부분)에서는 왜곡이 커지므로(밀도가 적도 부근에 비해 낮아짐), 모든 방향에 대하여 각 화소에 포함된 정보가 동일하게 유지된다고 하는 상술한 제1 조건을 충족시킬 수 없다. 단, 이 맵핑 방법에 따르면, 공간적·시간적 상관이 높고, 또한 구면으로부터 2차원 평면으로의 변환식 즉, 2차원 맵핑 정보가 간단하다는 이점이 있다. 또한, 도 9로부터도 추측할 수 있는 바와 같이, 맵핑된 2차원 평면 화상으로부터 원래의 전방위 화상의 전체 상을 인간이 파악하기 쉽다.
혹은, 도 10에 도시한 바와 같이 구면을 원통으로 투영하고 평면으로 전개한 후, 가로 방향 및 세로 방향의 각도를 구면 상의 수평 방향 및 수직 방향의 각도로 등간격으로 할당하는 것이 아니라, 맵핑된 각도의 간격을 자유롭게 변경해도 된다. 예를 들면, 가로 방향 및 세로 방향이 임의의 각도 범위로 구획된 영역의 밀도 즉,정보량을 높이는 등의 유연성을 갖게 할 수 있다. 예를 들면, 전방위 화상 중 상세한 정보를 남기고자 하는 화상 영역에 따라 각도 범위를 크게 할당할 수 있다. 이 때의 2차원 화상 맵핑 정보는 상술한 바와 마찬가지로, 각 행과 열로 할당된 각도로 된다.
또한, 구면을 원통으로 투영하여 평면으로 전개하는 지도 투영법 중에는 지구 상의 어떤 부분에 대해서도, 그 면적 비율이 지도 상에 정확히 표현되는 즉, 정적도법으로서의 성질을 갖는 "산손(Sanson)도법"을 예로 들 수 있다. 위도선은 수평선으로 정확한 간격, 정확한 길이로 나타낸다. 또한, 경선은 곡선이지만 등간격으로 된다. 적도 부근과 중앙 경도선 부근에서의 왜곡은 작아진다.
산손도법을 적용한 2차원 화상 맵핑 방법에 따르면, 정적(正積)으로 각 화소에 포함된 정보량이 동일하게 되는 공간적·시간적 상관 관계가 높은, 구면으로부터 2차원 평면으로의 변환식 즉, 2차원 화상 맵핑 정보가 간단하다고 하는 이점이 있다. 이 경우의 2차원 화상 맵핑 정보는 이하와 같은 3차원 좌표계-2차원 좌표계의 변환식으로 구성된다. (단, 2차원 평면 화상 사이즈를 W×H로 함)
산손도법(혹은 몰와이데 도법)과 같은 정적·원통도법을 이용한 경우, 도 11에 도시한 바와 같은 화상의 미사용 영역이 생성된다. 이러한 미사용 영역에는 도 12에 도시한 바와 같이, 동일한 배경색(화소값)을 할당함으로써, 공간적·시간적 상관 관계를 높여서 압축율이 높아지기 때문에, 표시·재생 시의 화질이 향상한다.
상술한 바와 같은 전통적인 지도 투영 방법을 이용하여 구형의 전방위 영상을 2차원 평면으로 맵핑한 경우, 원래의 3차원 화상과 맵핑 후의 2차원 평면 화상과의 상관 관계를 시각적으로 알 수 있으므로, 2차원 평면 화상으로부터 전방위 화상의 전체 상을 인간이 파악하기 쉽다는 이점이 있다. 그러나, 본 실시 형태에 따른 전방위 영상 합성 시스템(10)에서, 2차원 평면 화상으로 맵핑하는 주된 이유는, 화상 압축 등에서 규정된 데이터 포맷을 이용하여 전방위 영상을 취급하는 것을 가능하게 하는 것에 있다. 바꿔 말하면, 2차원 평면 화상은, 인간이 보고 이해할 수 있는지 여부는 부차적이고, 구면을 평면으로 맵핑할 때 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되는 것, 즉 모든 방향에 대하여 화소가 등면적으로 취급되는 것이 화질의 향상이나 영상 표시 시스템측에서의 데이터의 취급이라는 관점에서 보다 바람직하다.
본 발명자들은 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되도록 구면을 2차원 평면으로 맵핑하기 위해서, 수학적인 방법에 기초하여 구면 상에서 균일하게 샘플링점을 추출하고, 이것을 2차원 평면 화상으로 맵핑해 나가는 기법을 이하에 제안한다. 이러한 경우, 구면 상에서 샘플링된 점의 3차원 좌표와 맵핑된 곳의 2차원 화상과의 대응 관계가 2차원 화상 맵핑 정보로 된다.
예를 들면, "구의 z축을 등간격으로 평행한 평면으로 절단하였을 때, 인접하는 평면 사이에 위치하는 구면 상의 면적은 일정하다"라는 기하학 상의 정리가 있다. 예를 들면, 반경 r의 구를 Z축에 직교하는 평행한 평면으로 등간격 h로 둥글게 자르는 경우, 분할된 각 구면 상의 면적은 2πh로 일정하게 된다(상세한 것은 Joseph O'Rourke의 논문 "Computational Geometry Column 31"을 참조하기 바람).
Z축 [-1.. 1]에서 2차원 평면 화상 사이즈가 W×H일 때, h를 [0.. H]로 하면, Z축 방향의 높이 h에 상당하는 각도(위도) Φh는 하기 식으로 표시된다.
여기서, Φ가 [Φh-1.. Φh], Θ가 [0.. 2π]의 범위에 들어가도록 균일한 난수를 이용하여 (Φ, Θ)의 쌍을 정해 나간다. 이 내용을 2차원 화상 맵핑 정보에 저장함과 함께, 2차원 화상을 생성한다. 즉, 3차원 극좌표계에서 Z축 방향으로 등간격 즉, 등면적인 범위[Φh-1.. Φh]로 구획되는 구면 상의 영역을 2차원 좌표계에서 [Φh-1.. Φh]의 범위 내로 등간격 즉, 등면적으로 구획되는 띠 형상의 평면 영역으로 랜덤하게 전개해 나간다(도 13 참조). 본 발명자들은 이 2차원 화상 맵핑 방법을 "Stratified Random"으로 부르기로 한다.
도 14에 도시한 바와 같이 예를 들면, 2차원 평면 상의 점(i, j)에 대하여, Φi-1<Φi,j<Φi+1로 되는 Φi,j를 랜덤하게 결정한다. 계속해서, Θ값을 소트하여, 구면 상에서 랜덤하게 추출된 점(Θi,j, Φi,j)을 2차원 평면 상의 점(i, j)에 묘화한다. 단, Θi,j는 [0.. 2π]의 범위 내에서, Φi,j는 [Φi-1.. Φi+1]의 범위 내에서 각각 랜덤하게 결정된다. 그리고, 2차원 평면의 각 행 i에 대하여, 모든 (Θi,j, Φi,j)를 사전 순서로 소트하여, 이것이 이 경우의 2차원 화상 맵핑 정보로 된다.
도 15에는 옥외의 임의의 장소에서 촬영된 전방위 화상을 Stratified Random에 기초한 맵핑 방법에 의해 2차원 평면으로 맵핑한 화상의 예를 도시하고 있다. 도 15의 기초로 되는 전방위 화상은 도 9에서 사용한 것과 동일하다. 도 15로부터도 알 수 있는 바와 같이, Stratified Random에 기초한 맵핑 방법은 Z축 방향으로 등간격으로 분할된 구면 상의 영역을 2차원 평면 상의 해당하는 영역 내에 랜덤하게 맵핑하기 때문에, 도 9에 비해 한 눈으로 전체 상을 파악하기 어렵다.
Stratified Random에 의한 2차원 화상 맵핑 방법의 이점으로서, 구면으로부터 균일하게 화소를 샘플링할 수 있다는 것을 예로 들 수 있다.
한편, Stratified Random에 의한 2차원 화상 맵핑 방법의 결점은 계산 처리에 시간이 다소 걸린다는 것과, 2차원 평면으로의 맵핑 화상으로부터는 원래의 전방위 화상의 전체 상을 파악하기 어렵다는(도 15 참조) 것이다. 또한, 2차원 화상 맵핑 정보는 화소 단위로 기술되기 때문에, 전방위 영상의 표시·재생을 영역마다행하는 방식에서는 사용할 수 없다. 또한, 랜덤한 장소의 화소에 맵핑되어 있기 때문에, 2차원 화상으로부터 전방위 영상을 표시·재생할 때에, 점(Θ, Φ)의 화소값을 보간하기 위해서는 인접 화소를 효율적으로 탐색해야 한다.
상술한 Stratified Random에 의한 2차원 평면으로의 맵핑법은 난수를 이용함으로써, 3차원 좌표계로 표시되는 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되는 즉, 모든 방향에 대하여 화소가 등면적으로 취급되도록 2차원 평면 화상으로 맵핑하도록 하고 있다. 이 경우, 각 화소의 정보량의 균일성은 생성하는 난수의 균일성이 보증되어 있다는 것을 전제로 한다. 그러나, 균일한 난수를 생성하는 것은 기술적으로 곤란하다.
한편, 수학 분야에서는 밀도의 균일성을 유지하면서 정방형이나 구의 표면으로부터 다수의 점을 추출하는 것을 가능하게 하는 "Hammersley"라 부르는 정리가 알려져 있다. Hammersley 정리를 응용한 Hammersley Sequence에 따르면, 밀도의 균일성을 유지하면서, 구면 상으로부터 샘플링점을 순차 추출할 수 있다(예를 들면, Tien-Tsin Wong, Wai-Shing Luk, Pheng-Ann Heng 공저의 논문 "Sampling with Hammlersley and Halton Points" 참조).
도 16 및 도 17에는 Hammersley Sequence에 의해 구면 상으로부터 1000개 및 10000개의 샘플링점을 추출한 모습을 도시하고 있다. 또한, 이것과 대비되어, 도 18 및 도 19에는 일반적인 난수 계산으로 얻어진 난수에 따라 구면 상으로부터1000개 및 10000개의 샘플링점을 추출한 모습을 도시하고 있다. 각각의 도면을 비교하여도 알 수 있는 바와 같이, 난수를 이용한 경우보다도, Hammersley Sequence를 이용하여 샘플링점을 추출하는 경우가, 밀도의 균일성을 유지하면서 구면으로부터 점을 추출하고 있어, 따라서, 3차원 좌표계로 표시되는 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지됨을 이해할 수 있을 것이다.
따라서, 본 발명자들은 수학적인 기법에 기초하여 구면 상으로부터 균일하게 샘플링점을 추출하고, 이것을 2차원 평면 화상으로 맵핑해 나가는 다른 예로서, Hammersley Sequence를 이용한 맵핑 방법을 이하에 제안한다.
이 방법은 맵핑된 곳이 되는 2차원 평면 화상의 i행 j열째에 맵핑해야 할 구면 상의 샘플링점을 Hammersley Sequence를 이용하여 추출하는 것이다. 예를 들면, 2차원 평면 화상의 1행이 w화소로 이루어진다고 하고, 원래의 구면 상에서의 iw+j번째의 샘플링점을 Hammersley Sequence에 의해 추출하며, 이것을 2차원 평면 상의 (Θi,j, Φi,j)에 맵핑해 나간다(도 20 참조).
여기서, Hammersley Sequence에 의해 구면 상에서 iw+j번째의 샘플링점을 추출하기 위한 수순에 대하여 설명하기로 한다.
먼저, k=iw+j로 두고, 이 k를 기저 p를 이용하여 이하의 점화식으로 표현한다.
또한, 이 k를 변수로 하는 함수 ψp(k)를 이하와 같이 정의한다.
여기서, (k/m, Ψp(k))=(ψ, t)로 치환하여, 변수 ψ 및 t로 표시되는 하기의 좌표값 (X, Y, Z)이 Hammersley Sequence에 의해 구해진 샘플링점이다.
이 경우, 원래의 구면 상의 3차원 극좌표계 (Θ, Φ)와의 대응 관계 즉, 맵핑 정보는 하기의 식과 같이 기술된다.
도 21에는 옥외의 임의의 장소에서 촬영된 전방위 화상을 Hammersley Sequence에 기초한 맵핑 방법에 의해 2차원 평면으로 맵핑한 화상의 예를 도시하고있다. 도 21의 기초로 되는 전방위 화상은 도 9에서 사용한 것과 동일하지만, Hammersley Sequence에 기초한 맵핑 방법은 Hammersley Sequence에 의해 순차 산출되는 구면 상의 샘플링점을 2차원 평면 상의 해당하는 영역 내에 랜덤하게 맵핑하기 때문에, 도 9에 비해 한 눈으로 전방위 화상의 전체 상을 파악하는 것은 어렵다.
Hammersley Sequence에 의한 2차원 화상 맵핑 방법의 이점으로서, 구면으로부터 균일하게 화소를 샘플링할 수 있다는 것을 예로 들 수 있다.
한편, Hammersley Sequence에 의한 2차원 화상 맵핑 방법의 결점은 계산 처리에 시간이 다소 걸린다는 것과, 2차원 평면으로의 맵핑 화상으로부터는 원래의 전방위 화상의 전체 상을 파악하기 어렵다(도 21 참조)는 것이다. 또, 2차원 화상 맵핑 정보는 화소 단위로 기술되기 때문에, 전방위 영상의 표시·재생을 영역마다 행하는 방식에서는 사용할 수 없다. 또한, 인접 화소는 Hammersley Sequence에 의해 반드시 인접하여 맵핑되는 것은 아니기 때문에, 2차원 화상으로부터 전방위 영상을 표시·재생할 때에, 점(Θ, Φ)의 화소값을 보간하기 위해서는 인접 화소를 효율적으로 탐색해야 한다.
A-4-2. 원통형의 전방위 영상의 2차원 평면으로의 맵핑 방법
전방위 영상이 원통형인 경우에는 도 22에 도시한 바와 같이, 원통을 세로로 절단하여 개방하면 그대로 장방형이 된다. 도 22에 도시한 예에서는, 종축으로 상하 ±45°를 할당하고 있지만, 이 값은 임의이다. 또한, 도 10을 참조하면서 설명한 경우와 같이, 특정 영역의 밀도를 집중적으로 높여 고화질화하는 것도 가능하다.
단, 원통형에서는 장방형으로 전개했을 때의 종횡비가 극단적으로 다른 즉, 가로 방향의 크기가 세로 방향에 비해 커지는 경우가 있다. 이러한 화상은 MPEG 등의 규정된 압축 포맷의 사이즈에 적합하지 않기 때문에, 예를 들면 장방형 화상을 등분할하여 분할된 각 단편을 위에서부터 순서대로 배치하여, 규정된 포맷 사이즈에 적합하게 하도록 한다. 도 23에 도시한 예에서는 원통형으로부터 전개된 장방형 화상을 2 분할하고, 그 우측 절반을 좌측 절반의 아래에 부착함으로써, 종횡비를 조정하고 있다.
A-5. 2차원 화상 맵핑 정보
이미 진술한 바와 같이, 맵핑 정보 생성부(25)는 평면 화상의 좌표 (TX, TY)와 3차원 극좌표 (Θ, Φ, γ)와의 대응 관계를 2차원 맵핑 정보로서 생성한다. 또한, 전방위 영상 데이터 포맷 변환부는 이 2차원 맵핑 정보를 필요에 따라 영상 정보에 부가한다. 단, 화소 단위가 아니라 영역 단위로 맵핑하는 방식에서는 프리미티브의 각 정점 좌표만 2차원 맵핑 정보를 가지면 된다.
2차원 맵핑 정보를 영상 정보에 부가함으로써, (TX, TY)->(Θ, Φ)로의 변환이 필요없게 되기 때문에, 전방위 영상 표시 시스템(후술)에서의 부하가 가벼워진다. 또한, 3차원 화상으로부터 2차원 화상으로의 맵핑의 자유도도 높아진다. 예를 들면, 도 8에 도시한 바와 같은 단순한 포맷이어도, 극부분에서의 밀도를 높이거나, 특정한 장소의 밀도를 높이는 것 등이 가능하게 된다.
또한, 맵핑 정보를 이용함으로써, 전방위 영상 표시 장치에서 전방위 영상의3차원 물체 혹은 공간으로서의 이용에 관하여 자유도가 높아진다. 예를 들면, 맵핑 정보에 포함된 거리 정보를 사용하여 임의의 3차원 형상을 전방위 영상 표시 장치의 임의 시점 방향 영상 합성 장치에서 재현하는 것이 가능하게 된다. 예를 들면, 모든 화소에 거리 1을 부가하면 반경 1인 구가 되지만, 임의의 r을 할당함으로써 임의의 형상이 재현 가능하게 된다. 이것에 의해, 종래에 없는 3차원 GUI(Graphical User Interface)의 생성이나 그 이용이 가능하게 된다. 전방위 영상 표시 장치의 상세에 대해서는 후술하기로 한다.
2차원 맵핑 정보는 맵핑부(23)에서 채용되는 2차원 평면으로의 맵핑 방법에 따라 서로 다르다. 각 맵핑 방법에서의 맵핑 정보는 이미 진술한 바와 같다.
B. 전방위 영상 표시 시스템
계속해서, 전항 A에서 설명한 바와 같은 처리에 따라 2차원 평면 화상으로 맵핑된 3차원 좌표계의 비평면 화상을 영상 표시하는 전방위 영상 표시 시스템에 대하여 설명하기로 한다.
B-1. 시스템 구성
도 24에는 본 발명의 실시에 제공되는 전방위 영상 표시 시스템(50)의 구성을 모식적으로 도시하고 있다. 도 24에 도시한 바와 같이, 전방위 영상 표시 시스템(50)은 전방위 영상 축적 장치(51)와, 시점 지정 장치(52)와, 임의 시점 방향 영상 합성 장치(53)와, 영상 표시 장치(54)로 구성된다. 전방위 영상 표시 시스템(50)은 전용 하드웨어 장치로서 디자인하는 것도 가능하지만, 예를 들면 도 7에 도시한 바와 같은 일반적인 컴퓨터 시스템(100) 상에서 소정의 화상 처리 어플리케이션을 기동하는 형태로 실현하는 것도 가능하다.
전방위 영상 축적 장치(51)는 하드 디스크나 DVD(Digital Versatile Disc)와 같은 일반적인 컴퓨터 시스템의 외부 기억 장치를 이용하여 구성할 수 있다.
시점 지정 장치(52)는 전방위 영상에서, 사용자가 시청을 원하는 각도 방향, 줌, 병행 이동 등의 정보를 사용자로부터 입력으로서 접수하는 장치로서, 예를 들면 마우스나 키보드, 게임 컨트롤러 등의 일반적인 사용자 입력 장치로 구성된다. 시점 지정 장치(52)를 통한 입력 데이터는 임의 시점 방향 영상 합성 장치(53)에 공급된다.
임의 시점 방향 영상 합성 장치(53)는 사용자가 원하는 영상을 생성하는 장치로서, 적어도 CPU(중앙 연산 처리 장치)와 GPU(그래픽 처리 장치)로 구성된다. 임의 시점 방향 영상 합성 장치(53)에서 생성되는 영상은 3차원 물체(구 혹은 원통 등)의 내측으로부터 바깥 방향을 보았을 때의 시점 방향의 영상, 혹은 3차원 물체를 외측으로부터 보았을 때의 3차원 형상의 영상이다.
영상 표시 장치(54)는 텔레비전이나 PC 모니터 등의 일반적인 표시 장치로 구성되며, 임의 시점 방향 영상 합성 장치(53)로부터 전송된 영상을 표시 출력한다.
도 25에는 임의 시점 방향 영상 합성 장치(53)의 기능 구성을 모식적으로 도시하고 있다. 도 25에 도시한 바와 같이, 임의 시점 방향 영상 합성 장치(53)는 전방위 영상 데이터 포맷의 판독 및 분리부(61)와, 전방위 영상 복호부(62)와, 시점 방향 영상·3차원 형상 영상 생성부(63)로 구성된다.
전방위 영상 데이터 포맷의 판독 및 분리부(61)는 도 6에 도시한 바와 같은 데이터 포맷을 갖는 전방위 영상 데이터를 전방위 영상 축적 장치(51)로부터 판독하여, 전방위 영상 정보와 2차원 화상 맵핑 정보로 분리한다.
전방위 영상 복호부(62)는 예를 들면, MPEG 포맷 등으로 부호화되어 있는 전방위 영상 정보를 복호화 처리한다.
시점 방향 영상·3차원 형상 영상 생성부(63)는 시점 지정 장치(52)를 통해 사용자로부터 지정된 시점 방향 및 줌값에 따른 3차원 형상 영상을, 복호화된 전방위 영상과 2차원 화상 맵핑 정보를 이용하여 생성한다. 생성된 3차원 형상 영상은 영상 표시 장치(54)에 전송되어 표시 출력된다.
B-2. 시점 방향을 따른 전방위 영상의 재생
여기서는 2차원 평면 화상으로 맵핑되어 있는 전방위 영상으로부터 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 처리에 대하여 설명하기로 한다.
구형 또는 원통형의 전방위 영상을 2차원 평면 화상으로 맵핑하는 방식은 화소 단위로 맵핑하는 "화소 방식"과, 영역 단위로 맵핑하는 "영역 방식"으로 크게 구별된다. 어느 방식이라도, 2차원 평면으로 맵핑되어 있는 전방위 영상으로부터, 영상 표시 장치(54)가 갖는 2차원 표시 화면으로의 재맵핑을 행하게 된다.
B-2-1. 화소 방식
도 26에는 전방위 영상의 2차원 평면으로의 맵핑에 화소 방식을 채용한 경우의, 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 데이터의 흐름을 모식적으로 도시하고 있다. 이 경우, 시점 방향 영상의 각 화소를 시점 지정 장치(52)로부터의 입력(시점 방향 및 줌의 지정값)과, 전방위 영상에 부가되어 있는 2차원 화상 맵핑 정보를 이용하여 전방위 영상으로부터 계산하여 구한다.
먼저, 시점 방향 영상의 각 화소(x, y)에 대하여, 시점 지정 장치(52)로부터 받은 시점 방향(θv, φv) 및 줌값 z로부터, 하기 식을 이용하여 극좌표 (Θ, Φ)를 계산하여 구한다.
여기서, R은 회전 행렬이고, 하기 식에 도시한 바와 같이 시점 방향(θv, φv)으로부터 구한다.
또한, K는 투시 변환을 위한 행렬이고, 하기 식에 도시한 바와 같은 3×3행렬로 표시된다.
단, 점 (px, py)는 화상의 중심점이고, 또한, fx 및 fy는 각각 x, y 방향의 촛점 거리이다. 줌은 fx 및 fy에 z를 걸어줌으로써 실현된다.
계속해서, 2차원 화상 맵핑 정보를 참조하여, 극좌표 (Θ, Φ)를 전방위 화상 좌표 (TXf, TYf)로 변환한다. 이 때, 전방위 영상 생성 시스템(10)(상술 및 도 1을 참조한 것)의 전방위 영상 합성 장치(12)에서 3차원 좌표에서 2차원 화상으로 변환할 때 이용된 식을 영상 표시 시스템(50)측에서도 알고 있는 경우에는 전방위 영상 데이터 포맷에 부가되어 있는 맵핑 정보가 아니고 그 식을 이용하여도 상관없다. 각 화소에 대하여 맵핑 정보를 갖는 것은 중복하는 것이 있기 때문에, 이러한 방법을 사용하는 유용성은 크다.
이와 같이 하여 구한 전방위 화상 좌표는 부동 소수점인 경우가 많다. 이 때문에, 정수 좌표계인 전방위 화상으로부터 보간하여 구하는 것이 좋은 경우가 있다. 보간 방법으로서는 최근방 보간, 선형 보간, 큐빅 보간, sinc 보간, 스플라인 보간 등을 이용할 수 있다.
이상의 변환을 모든 시점 방향 화상(x, y)에 대하여 계산하고, 전방위 화상 좌표 (TX, TY)로부터 시점 방향 화상을 작성하여, 그것을 영상 표시 장치(54)에 전송한다.
B-2-2. 영역 방식
임의 시점 방향 영상 합성 장치(53)의 CPU의 성능에 따라서는 상술한 화소 방식으로서는 리얼 타임 처리가 시간을 맞추지 못할 경우가 있다. 따라서, GPU가 표준적으로 구비하는 텍스쳐를 화면 상에 부착하는 텍스처·맵핑 기능을 이용한 영역 방식을 이용함으로써, 계산량의 대폭적인 삭감을 도모할 수 있다.
도 27에는 전방위 영상의 2차원 평면으로의 맵핑에 영역 방식을 채용한 경우의 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 데이터의 흐름을 모식적으로 도시하고 있다. 또한, 도 28에는 영역 방식을 채용한 경우의 임의 시점 방향 영상을 합성하는 개념도를 도시하고 있다.
먼저, 부가 정보로서 포함된 맵핑 정보를 이용하여, 전방위 영상을 "프리미티브"라는 단위로, 프리미티브의 각 정점에 대하여 전방위 화상 좌표 (TX, TY)를 극좌표 (Θ, Φ)로 변환한다. 여기서, 프리미티브란, 삼각형 혹은 사각형으로 이루어지는 기본 묘화 요소이고, GPU는 일반적으로 이 프리미티브 단위로 묘화를 행한다.
계속해서, 시점 지정 장치(52)로부터 받은 시점 방향(θv, φv) 및 줌값 z로부터, 극좌표 (Θ, Φ)를 시점 방향 화상 좌표 (Xf, yf)로 변환한다. 변환식은 이하와 같이 된다.
여기서, R은 회전 행렬이고, K는 투시 변환을 위한 3×3행렬이다. 상기 식 (7) 및 식 (8)을 참조하면 된다.
상기 식에서는 (X, Y, Z) 및 (-X, -Y, -Z)라는 2개의 점(즉, 점 대칭인 점의 쌍)에서 동일한 좌표값 (xf, yf)을 갖는 시점 방향 화상 좌표가 구해진다. 따라서, 구해진 시점 방향 화상 좌표 (xf, yf)가 어느 점으로부터 구해진 것인지를 조사하기 위해서, 구해진 (xf, yf)를 맵핑 정보에 따라 3차원 좌표계 (X', Y', Z')로 변환하여, 이 (X', Y', Z')와 (X, Y, Z)가 일치하는지 여부를 판단할 수 있다. 혹은, w의 값이 플러스이면, 그 (X, Y, Z)에서 구한 값이 유효하다고 해석하여도 상관없다.
계속해서, 전방위 영상을 텍스쳐로 하여, GPU(또는 GPU에 준비된 VRAM(Video Random Access Memory) 내의 텍스쳐 버퍼)에 전송한다. 그리고, 각 프리미티브의 정점에 대하여 전방위 화상 좌표 (TX, TY)의 텍스쳐 버퍼 상에서 대응하는 좌표값 (tx, ty)과 시점 방향 화상 좌표 (xf, yf)의 쌍을 GPU에 전송하고, 프리미티브 단위로 시점 방향 화상을 생성하도록 명령한다. 이 때, GPU에 갖춰져 있는 보간 기술을 사용할 수 있다. 보간 방법으로서는 최근방 보간, 선형 보간, 큐빅 보간, sinc 보간, 스플라인 보간 등을 이용할 수 있다.
여기서, 보간 처리가 실행되었을 때, GPU에 따라서는 화상에 문제점이 생기는 경우가 있다. 예를 들면, 텍스쳐 버퍼의 횡폭이 최대 1024 화소까지로 제한되어 있는 시스템에서는 도 23을 참조하면서 이미 설명한 바와 같이, 원통형의 전방위 영상을 등분할하여 분할된 각 단편을 위에서부터 순서대로 배치하여, 규정된 포맷 사이즈에 적합하게 할 필요가 있다(도 23에 도시한 예에서는 원통형으로부터 전개된 장방형 화상을 2 분할하고, 그 우측 절반을 좌측 절반의 아래에 부착함으로써, 종횡비를 조정하고 있음). 예를 들면, 소니 컴퓨터 엔터테인먼트사의 게임기 플레이스테이션2(PS2)에 탑재되어 있는 GPU"Graphic Synthesizer"와 같이 선형 보간 기능이 갖춰져 있는 GPU를 사용하는 경우, 분할된 단연 부분에서는 선형 보간 기능이 제대로 기능하지 않는 경우가 있다.
예를 들면, 절단·전개된 장방형 화상의 엣지 부근에서 화소 보간 처리로 들어갔을 때, 도 29나 도 30에 도시한 바와 같이 보간에 사용해야 할 화소는 절첩한 장소에 있다. 그러나, 이러한 장방형 화상의 단연 부근은 본래는 연속하고 있는 인접 화소 또는 매크로 블록의 화소 데이터를 갖지 않기 때문에, 화소값의 보간을 행할 수 없다. 이러한 부분은 선형 보간이 실시되지 않은 결과로서, 불필요한 선으로서 영상 표시 장치(54)의 화면 상에 나타나는 경우가 있다(도 31을 참조한 것).
따라서, 본 발명자 등은 도 32 및 도 33에 도시한 바와 같이, 등분할된 각 단편의 양단에 임의의 폭의 중첩 부분을 부가하도록 하였다. 예를 들면, 양단에서 연결하는 부분의 매크로 블록(여기서는, 전방위 영상이 MPEG-2 방식으로 부호화되어 있는 것으로 함)을 부가한다(도면에 나타난 수치는 각 매크로 블록의 일련번호에 상당하는 것으로 이해하기 바람). 이 중첩과 같은 부가 화소 블록을 이용함으로써, 절첩점에서도 정확한 보간 처리가 행해져서, 도 31에 도시한 바와 같은 불필요한 선이 나타나지 않는 정상적인 화상이 생성된다.
또, GPU는 일반적으로 "CLAMP"라는 기능을 포함하고 있고, 텍스쳐를 반복하여 배치할 수 있다. 그러나, 도 23에 도시한 바와 같이 장방형 화상을 2개 폴드로 하고 있는 경우에는 좌단과 우단이 일치하지 않기 때문에, CLAMP 기능을 사용하더라도 적절한 화상은 생성되지 않는다.
이상의 좌표 변환 처리를 모든 프리미티브의 정점(TX, TY)에 대하여 계산하여, 프리미티브의 정점의 텍스처 버퍼 상에서의 좌표 (tx, ty)와 시점 방향 화상 좌표 (xf, yf)의 쌍 및 중첩을 부가한 전방위 영상을 GPU에 전송한다. 그리고, GPU는 시점 방향 화상을 작성하여, 이것을 영상 표시 장치(54)에 전송한다.
B-2-3. 수학적인 방법에 기초하여 맵핑된 2차원 화상의 영상 재생
Stratified Random이나 Hammersley Sequence의 수학적인 방법에 기초하여 구면 상에서 균일하게 샘플링점을 추출하고, 이것을 2차원 평면 화상으로 맵핑하여 감에 따라, 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되도록 비평면 화상을 2차원 평면으로 맵핑할 수 있다는 것은 이미 설명한 바와 같다.
여기서는, 이러한 수학적인 방법에 기초하여 맵핑된 2차원 화상을 이용하여 임의 시점 방향의 3차원 형상 영상을 재생하기 위한 처리 수순에 대하여 설명하기로 한다. 도 34에는 수학적인 방법에 기초하여 맵핑된 2차원 화상으로부터 임의시점 방향의 3차원 형상 영상을 재생하기 위한 데이터의 흐름을 모식적으로 도시하고 있다.
Stratified Random이나 Hammersley Sequence에 의한 2차원 화상 맵핑 방법에 따르면, 구면으로부터 균일하게 화소를 샘플링할 수 있지만, 인접 화소는 Stratified Random이나 Hammersley Sequence에 의해 인접하여 맵핑되지 않기 때문에, 2차원 화상으로부터 전방위 영상의 표시·재생 시에, 점(Θ, Φ)의 화소값을 보간하기 위해서는 인접 화소를 효율적으로 탐색해야 한다.
따라서, 본 실시 형태에서는, 3차원 형상 영상을 합성하기 위한 전처리(pre-process )로서 맵핑 정보를 이용하여, 극좌표계 상의 각 샘플링점(Θi, Φj)에 대하여, 이것과 인접하는 4개(또는 복수개)의 인접 화소 (Θi (1), Φj (1)), (Θi (2), Φj (2)), (Θi (3),Φj (3)), (Θi (4), Φj (4))를 계산하여, 2차원 맵핑된 전방위 화상의 화소 사이즈 W×H에 대하여, 인접 화소를 검색하기 위한 룩업 테이블 T(Θ, Φ)를 작성한다.
이러한 전처리 이후, 먼저, 시점 방향 영상의 각 화소(X, y)에 대하여, 시점 지정 장치(52)로부터 받은 시점 방향(θv, φv) 및 줌값 z로부터 극좌표 (Θ, Φ)를 계산하여 구한다.
계속해서, 룩업 테이블 T(Θ, Φ)를 참조하여, 시점 방향 영상의 화소(X, y)에 대응하는 극좌표 (Θ, Φ)에 인접하는 화소를 탐색한다.
그리고, 이들 인접 화소를 이용하여, 극좌표 (Θ, Φ)를 화소 보간한다. 보간 방법으로서는 최근방 보간, 선형 보간, 큐빅 보간, sinc 보간, 스플라인 보간 등을 이용할 수 있다.
계속해서, 2차원 화상 맵핑 정보를 참조하여, 극좌표 (Θ, Φ)를 전방위 화상 좌표 (TXf, TYf)로 변환한다.
이상의 변환을 모든 시점 방향 화상(x, y)에 대하여 계산하여, 전방위 화상 좌표 (TX, TY)로부터 시점 방향 화상을 작성하고, 그것을 영상 표시 장치(54)에 전송한다.
B-3. 렌즈 효과
화소 방식 및 영역 방식 쌍방에서, 극좌표계와 2차원 화상 좌표계 간의 변환을 행할 때에, 각종 렌즈 효과를 넣는 것이 가능하다. 각각의 방식으로 표시한 변환식은 이상적인 핀홀 카메라의 경우이다.
어안 렌즈로 촬영한 영상으로서 전방위 영상을 표시하는 경우의 변환식은 이하와 같이 된다. 어안 렌즈를 사용했을 때에 생성되는 시점 화상을 도 35에 도시하여 둔다.
B-4. 임의의 3차원 형상의 합성
시점 방향 영상·3차원 형상 영상 생성부(63)는 2차원 화상 맵핑 정보를 이용함으로써, 시점 지정 장치(52)를 통해 사용자로부터 지정된 시점 방향 및 줌값에 따른 3차원 형상 영상을 생성할 수 있다. 보다 구체적으로는, 임의 시점 방향 영상 합성 장치(53)를 구성하는 GPU가 포함하는 3차원 형상으로 텍스쳐를 부착하는 기능을 사용하여, 2차원 화상 맵핑 정보의 거리 정보를 참조하여 전방위 영상을 3차원 형상으로 부착한다. 이것에 의해, 전방위 화상을 외측에서 볼 때 임의의 형상으로 재생할 수 있다.
이하에서는, 2차원 평면으로 맵핑된 전방위 영상을 외측의 임의의 3차원 형상으로 영상 합성하기 위한 처리에 대하여 설명하기로 한다. 도 36에는 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의 영상을 합성하기 위한 데이터의 흐름을 모식적으로 도시하고 있다.
먼저, 2차원 화상 맵핑 정보를 참조하여, 전방위 영상을 프리미티브라는 단위로 프리미티브의 각 정점에 대하여 전방위 화상 좌표 (TX, TY)를 극좌표 (Θ, Φ, γ)로 변환한다. 프리미티브란 삼각형 혹은 사각형으로 구성된 묘화 단위로서, GPU는 일반적으로 이 프리미티브 단위로 묘화를 행한다.
계속해서, 극좌표 (Θ, Φ, γ) 및 시점 지정 장치(52)로부터 받은 시점 방향(θv, φv) 및 평행 이동량(Xv, Yv, Zv)으로부터 3차원 좌표 (X, Y, Z)로 변환한다. 변환식은 이하와 같다.
그리고, 전방위 영상을 텍스쳐로 하여, GPU(또는 GPU에 준비된 VRAM(Video Random Access Memory) 내의 텍스쳐 버퍼)에 전송한다. 그리고, 각 프리미티브의 정점에 대하여 전방위 화상 좌표 (TX, TY)와 3차원 좌표 (X, Y, Z)의 쌍을 GPU에 전송하고, 프리미티브 단위로 3차원 형상 영상을 생성하도록 명령한다. 이 때, GPU에 갖춰져 있는 보간 기술을 사용할 수 있다. 보간 방법으로서는 최근방 보간, 선형 보간, 큐빅 보간, sinc 보간, 스플라인 보간 등을 이용할 수 있다.
도 37∼도 40에는 2차원 평면으로 맵핑된 전방위 영상으로부터 임의의 3차원 형상의 영상을 합성한 예를 도시하고 있다. 도 37에는 입방체의 외측에 전방위 영상을 부착한 모습을 나타내고 있다. 마찬가지로, 도 38, 도 39, 도 40에는 각각, 정이십면체, 정십이면체, 도우넛(원형환)의 외측에 전방위 영상을 부착한 모습을 도시하고 있다.
예를 들면, 모든 화소에 거리 1을 부가하면 반경 1인 구가 되지만, 임의의 r을 할당함으로써 임의의 형상이 재현 가능하게 된다. 이것에 의해, 종래에 없는 3차원 GUI(Graphical User Interface)를 생성하거나 이용하는 것이 가능하게 된다.
이상, 특정 실시예를 참조하면서, 본 발명에 대하여 상세히 설명하였다. 그러나, 본 발명의 요지를 일탈하지 않은 범위에서 당업자가 해당 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라는 형태로 본 발명을 개시한 것으로, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는 특허 청구의 범위를 참작하여야 한다.
본 발명에 따르면, 복수의 카메라에 의해 촬영된 영상 데이터를 접합하여 비평면 형상으로 구성되는 화상에 대하여 압축, 축적, 재생 등의 처리를 적합하게 행할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램을 제공할 수 있다.
또한, 본 발명에 따르면, 공간 중의 임의의 1개의 점을 시점으로 하여 주위의 화상을 촬영하도록 복수의 카메라가 설치되어 구성된 전방위 카메라 또는 전천구형 카메라에 의한 원통형 또는 구면형의 화상 처리를 적합하게 행할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램을 제공할 수 있다.
또한, 본 발명에 따르면, 전방위 영상과 같은 비평면 화상을 표시·재생측의 성능을 고려하여 축적 처리할 수 있는 우수한 화상 처리 장치 및 화상 처리 방법, 기억 매체 및 컴퓨터 프로그램을 제공할 수 있다.
본 발명에 따르면, 압축 포맷 및 표시 장치의 성능에 따라 전방위 영상을 편집함으로써, 표시·재생 장치측에서 화질이나 리얼 타임성을 높이는 것이 가능하다.
일반적으로, 네트워크 경유로 송신하는 경우 뿐만 아니라, DVD 등의 기록 미디어로부터 판독하는 경우에도, 비트 속도에 제한이 부과되어 있는 경우가 많다.본 발명에 따라 전방위 영상과 같은 비평면 화상을 압축·축적 처리하면, 이와 같이 한정된 비트 속도 내에서 최대한의 정보를 채워 넣는 것이 가능하다.
또한, 본 발명에 따르면, 전방위 영상으로부터 임의 지점 방향의 영상을 합성할 때에, 각종 렌즈의 카메라로 촬영한 영상을 의사적으로 재생함으로써, 여러가지 특수 효과에 이용할 수 있다.
또한, 본 발명에 따르면, 전방위 영상을 내측으로부터 뿐만 아니라, 외측으로부터 임의의 형상으로 재생하는 기능을 적용함으로써, 새로운 GUI(Graphical User Interface) 환경을 제공할 수 있다.

Claims (36)

  1. 3차원 좌표계로 표시되는 비평면 화상을 처리하는 화상 처리 장치로서,
    3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 수단과,
    원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 수단
    을 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  2. 제1항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 수단은 구면을 원통으로 투영하고 상기 원통을 평면으로 전개하여 2차원 평면 화상으로 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  3. 제2항에 있어서,
    상기 2차원 평면 화상 맵핑 수단은 2차원 평면의 가로 방향에 구면의 수평 방향의 각도를, 세로 방향에 구면의 수직 방법의 각도를 등간격으로 할당하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  4. 제2항에 있어서,
    상기 2차원 평면 화상 맵핑 수단은 구면의 수평 방향 및/또는 수직 방향의 각도를 2차원 평면의 가로 방향 및/또는 세로 방향으로 임의의 간격으로 할당하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  5. 제2항에 있어서,
    상기 맵핑 정보 생성 수단은 2차원 평면 화상의 각 행 및 열로 할당된 구면 상의 수평 방향 및 수직 방향의 각도로 기술된 맵핑 정보를 생성하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  6. 제1항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 수단은 면적 비율이 정확히 되도록 구면을 원통으로 투영하고 상기 원통을 평면으로 전개하여 2차원 평면 화상으로 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  7. 제6항에 있어서,
    상기 맵핑 정보 생성 수단은 원래의 전방위 화상의 3차원 좌표계 (Θ, Φ, γ)와, 맵핑된 2차원 화상 좌표계 (TX, TY)와의 대응 관계를 하기 식으로 표시한 맵핑 정보를 생성하는
    TX=r×θ×cosφ
    TY=r×φ
    것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  8. 제1항에 있어서,
    상기 2차원 평면 화상 맵핑 수단은 3차원 좌표계로 표시되는 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되도록 2차원 평면 화상으로 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  9. 제1항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 수단은 구의 z축을 등간격으로 평행한 평면으로 절단하였을 때 인접하는 평면 사이에 위치하는 구면 상의 면적이 일정해지는 정리를 이용하여, 3차원 극좌표계에서 Z축 방향으로 등간격인 범위로 구획되는 구면 상의 영역을 2차원 직교 좌표계에서 등간격인 범위로 구획되는 띠 형상의 평면 영역으로 랜덤하게 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  10. 제1항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 수단은 1행이 w화소로 이루어진 2차원 평면 화상의 i행 j열째에, Hammersley Sequence를 이용하여 iw+j번째에 전방위 화상으로부터 추출한 점을 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  11. 제1항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 원통형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 수단은 상기 원통을 세로로 절단하여 장방형으로 전개하고, 또한 상기 장방형 화상을 등분할하여 분할된 각 단편을 위에서부터 순서대로 배치하여, 규정된 포맷 사이즈에 적합하게 하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  12. 제1항에 있어서,
    맵핑된 2차원 평면 화상 정보를 소정의 압축 포맷으로 압축하는 화상 압축 수단을 더 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  13. 제12항에 있어서,
    상기 화상 압축 수단은 동화상에 대해서는 MPEG-1, MPEG-2, MPEG-4, H.263, H.261, AVI, Motion JPEG 등, 또한 정지 화상에 대해서는 JPEG, GIF, PNG, BMP, TIFF 등의 압축 포맷을 채용하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  14. 제12항에 있어서,
    상기 화상 압축 수단은 2차원 평면 화상 정보에 화소가 맵핑되어 있지 않은 미사용 영역이 포함된 경우에는 상기 미사용 영역에 동일한 화소값을 할당하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  15. 제1항에 있어서,
    상기 2차원 평면 화상 맵핑 수단에 의해 맵핑된 2차원 평면 화상 또는 그 압축 화상과 상기 맵핑 정보 생성 수단에 의해 생성된 맵핑 정보를 1조로 한 데이터 포맷으로 변환하는 데이터 포맷 변환 수단을 더 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  16. 제15항에 있어서,
    상기 데이터 포맷 변환 수단은 영상 정보와 동기가 취해지는 형식으로 음성 정보를 인터리브하여 삽입하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  17. 제15항에 있어서,
    상기 데이터 포맷 변환 수단은 상기 2차원 평면 화상 맵핑 수단이 채용하는 맵핑 방법이 전환될 때마다, 프레임의 선두에 맵핑 정보를 삽입하는 것을 특징으로 하는 비평면 화상의 화상 처리 장치.
  18. 3차원 좌표계로 표시되는 비평면 화상을 처리하는 화상 처리 방법으로서,
    3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 단계와,
    원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 단계
    를 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  19. 제18항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 단계에서는, 구면을 원통으로 투영하고 상기 원통을 평면으로 전개하여 2차원 평면 화상으로 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  20. 제19항에 있어서,
    상기 2차원 평면 화상 맵핑 단계에서는, 2차원 평면의 가로 방향에 구면의 수평 방향의 각도를, 세로 방향에 구면의 수직 방법의 각도를 등간격으로 할당하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  21. 제19항에 있어서,
    상기 2차원 평면 화상 맵핑 단계에서는, 구면의 수평 방향 및/또는 수직 방향의 각도를 2차원 평면의 가로 방향 및/또는 세로 방향으로 임의의 간격으로 할당하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  22. 제19항에 있어서,
    상기 맵핑 정보 생성 단계에서는, 2차원 평면 화상의 각 행 및 열로 할당된 구면 상의 수평 방향 및 수직 방향의 각도로 기술된 맵핑 정보를 생성하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  23. 제18항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 단계에서는, 면적 비율이 정확히 되도록 구면을 원통으로 투영하고, 상기 원통을 평면으로 전개하여 2차원 평면 화상으로 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  24. 제23항에 있어서,
    상기 맵핑 정보 생성 단계에서는, 원래의 전방위 화상의 3차원 좌표계 (Θ, Φ, γ)와, 맵핑된 2차원 화상 좌표계 (TX, TY)와의 대응 관계를 하기 식으로 표시한 맵핑 정보를 생성하는
    TX=r×θ×cosφ
    TY=r×φ
    것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  25. 제18항에 있어서,
    상기 2차원 평면 화상 맵핑 단계에서는, 3차원 좌표계로 표시되는 비평면 화상을 모든 방향에 대하여 각 화소에 포함된 정보량이 동일하게 유지되도록 2차원 평면 화상으로 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  26. 제18항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 단계에서는, 구의 z축을 등간격으로 평행한 평면으로 절단하였을 때에 인접하는 평면 사이에 위치하는 구면 상의 면적이 일정해지는 정리를 이용하여, 3차원 극좌표계에서 Z축 방향으로 등간격인 범위로 구획되는 구면 상의 영역을 2차원 직교 좌표계에서 등간격인 범위로 구획되는 띠 형상의 평면 영역으로 랜덤하게 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  27. 제18항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 구면형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 단계에서는, 1행이 w화소로 이루어진 2차원 평면 화상의 i행 j열째에, Hammersley Sequence를 이용하여 iw+j번째에 전방위 화상으로부터 추출한 점을 맵핑하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  28. 제18항에 있어서,
    상기 3차원 좌표계로 표시되는 비평면 화상은 원통형의 전방위 화상이며,
    상기 2차원 평면 화상 맵핑 단계에서는 상기 원통을 세로로 절단하여 장방형으로 전개하고, 또한 상기 장방형 화상을 등분할하여 분할된 각 단편을 위에서부터 순서대로 배치하여, 규정된 포맷 사이즈에 적합하게 하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  29. 제18항에 있어서,
    맵핑된 2차원 평면 화상 정보를 소정의 압축 포맷으로 압축하는 화상 압축 단계를 더 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  30. 제29항에 있어서,
    상기 화상 압축 단계에서는, 동화상에 대해서는 MPEG-1, MPEG-2, MPEG-4, H.263, H.261, AVI, Motion JPEG 등, 또한 정지 화상에 대해서는 JPEG, GIF, PNG, BMP, TIFF 등의 압축 포맷을 채용하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  31. 제18항에 있어서,
    상기 화상 압축 단계에서는, 2차원 평면 화상 정보에 화소가 맵핑되어 있지 않은 미사용 영역이 포함된 경우에는 상기 미사용 영역에 동일한 화소값을 할당하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  32. 제18항에 있어서,
    상기 2차원 평면 화상 맵핑 단계에 의해 맵핑된 2차원 평면 화상 또는 그 압축 화상과 상기 맵핑 정보 생성 단계에 의해 생성된 맵핑 정보를 1조로 한 데이터 포맷으로 변환하는 데이터 포맷 변환 단계를 더 포함하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  33. 제32항에 있어서,
    상기 데이터 포맷 변환 단계에서는, 영상 정보와 동기가 취해지는 형식으로 음성 정보를 인터리브하여 삽입하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  34. 제18항에 있어서,
    상기 데이터 포맷 변환 단계에서는 상기 2차원 평면 화상 맵핑 수단이 채용하는 맵핑 방법이 전환할 때마다, 프레임의 선두에 맵핑 정보를 삽입하는 것을 특징으로 하는 비평면 화상의 화상 처리 방법.
  35. 3차원 좌표계로 표시되는 비평면 화상 처리를 컴퓨터 시스템 상에서 실행하도록 기술된 컴퓨터 소프트웨어를 컴퓨터 판독 가능 형식으로 물리적으로 저장한 기억 매체로서,
    상기 컴퓨터 소프트웨어는,
    3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 단계와,
    원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 단계
    를 포함하는 것을 특징으로 하는 기억 매체.
  36. 3차원 좌표계로 표시되는 비평면 화상 처리를 컴퓨터 시스템 상에서 실행하도록 컴퓨터 판독 가능 형식으로 기술된 컴퓨터 프로그램으로서,
    3차원 좌표계로 표시되는 비평면 화상을 2차원 평면으로 맵핑하는 2차원 평면 화상 맵핑 단계와,
    원래의 비평면 화상을 나타내는 3차원 좌표계와 맵핑된 2차원 화상 좌표계와의 대응 관계를 기술한 맵핑 정보를 생성하는 맵핑 정보 생성 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
KR10-2003-7008851A 2001-10-29 2002-10-10 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램 KR20040050888A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2001-00331508 2001-10-29
JP2001331508A JP2003141562A (ja) 2001-10-29 2001-10-29 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
PCT/JP2002/010541 WO2003038752A1 (fr) 2001-10-29 2002-10-10 Appareil de traitement d'images non planes, technique de traitement d'images et programme informatique

Publications (1)

Publication Number Publication Date
KR20040050888A true KR20040050888A (ko) 2004-06-17

Family

ID=19147074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-7008851A KR20040050888A (ko) 2001-10-29 2002-10-10 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US7483590B2 (ko)
EP (1) EP1441307A4 (ko)
JP (1) JP2003141562A (ko)
KR (1) KR20040050888A (ko)
CN (1) CN100380403C (ko)
WO (1) WO2003038752A1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585822B1 (ko) * 2004-04-26 2006-06-01 주식회사 일리시스 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
KR100933297B1 (ko) * 2009-08-31 2009-12-22 (주)지에스엠솔루션 Ｇｐｓ/ｉｎｓ장비와 전방위 카메라로부터 취득한 구면 영상을 이용한 3차원 좌표 추출 방법
KR100946707B1 (ko) * 2009-09-16 2010-03-12 (주)올라웍스 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100978469B1 (ko) * 2006-11-17 2010-08-26 문석환 좌표계 변환 방법
KR101036731B1 (ko) * 2004-12-17 2011-05-24 마이크로소프트 코포레이션 손실 및 무손실 2차원 데이터 압축을 위한 가역 변환
US8036274B2 (en) 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
US8447591B2 (en) 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
WO2017175888A1 (ko) * 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR20180028299A (ko) * 2016-09-08 2018-03-16 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
KR20180046207A (ko) * 2016-10-27 2018-05-08 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR20190020083A (ko) * 2016-06-27 2019-02-27 후아웨이 테크놀러지 컴퍼니 리미티드 인코딩 방법 및 장치 및 디코딩 방법 및 장치
WO2019066529A1 (ko) * 2017-09-29 2019-04-04 가온미디어 주식회사 프레임 패킹을 제공하는 가상 현실 영상의 부호화/복호화 방법 및 그 장치
KR20190050817A (ko) * 2016-09-20 2019-05-13 캐논 가부시끼가이샤 정보 처리 디바이스 및 이를 제어하는 방법, 및 컴퓨터 프로그램
KR20190101930A (ko) * 2016-09-08 2019-09-02 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
US10904570B2 (en) 2016-09-08 2021-01-26 Kaonmedia Co., Ltd. Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
AU2003214899A1 (en) * 2003-01-24 2004-08-23 Micoy Corporation Stereoscopic Panoramic Image Capture Device
US7011625B1 (en) * 2003-06-13 2006-03-14 Albert Shar Method and system for accurate visualization and measurement of endoscopic images
US7480001B2 (en) * 2003-07-02 2009-01-20 Sony Corporation Digital camera with a spherical display
US7324664B1 (en) * 2003-10-28 2008-01-29 Hewlett-Packard Development Company, L.P. Method of and system for determining angular orientation of an object
US7079173B2 (en) * 2004-02-04 2006-07-18 Hewlett-Packard Development Company, L.P. Displaying a wide field of view video image
US7507964B2 (en) * 2004-03-17 2009-03-24 Tenebraex Corporation Method for providing color images from a monochromatic electro-optical device using two optical channels and systems, apparatuses and devices related thereto
JP2005277825A (ja) * 2004-03-25 2005-10-06 Hitachi Ltd マルチカメラ映像表示装置
US7505946B2 (en) * 2004-03-31 2009-03-17 Microsoft Corporation High performance content alteration architecture and techniques
US8503825B2 (en) * 2004-05-06 2013-08-06 Christopher L. Kavanau Method and system for aligning and classifying images
JP2005327220A (ja) * 2004-05-17 2005-11-24 Sharp Corp イラスト図作成装置、イラスト図作成方法、制御プログラムおよび可読記録媒体
US7970193B2 (en) * 2004-06-23 2011-06-28 Koninklijke Philips Electronics N.V. Image processing system for displaying information relating to parameters of a 3-D tubular object
JP4475643B2 (ja) * 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
DE112005003003T5 (de) * 2004-12-10 2007-11-15 Kyoto University System, Verfahren und Programm zum Komprimieren von dreidimensionalen Bilddaten sowie Aufzeichnungsmedium hierfür
US20060268360A1 (en) * 2005-05-12 2006-11-30 Jones Peter W J Methods of creating a virtual window
US7471292B2 (en) * 2005-11-15 2008-12-30 Sharp Laboratories Of America, Inc. Virtual view specification and synthesis in free viewpoint
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
KR100753536B1 (ko) * 2006-05-04 2007-08-30 주식회사 아이너스기술 3차원 역설계 모델링을 위한 원시 모델 데이터로부터 2차원스케치 데이터를 검출하는 방법
JP2007318597A (ja) * 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
GB2440993C (en) 2006-07-25 2014-03-19 Sony Comp Entertainment Europe Apparatus and method of interaction with a data processor
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법
US8224122B2 (en) * 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
CN101206767B (zh) * 2006-12-22 2010-12-15 财团法人资讯工业策进会 将平面图像转换至三维效果图像的图像转换装置及方法
GB0701300D0 (en) * 2007-01-24 2007-03-07 Dreampact Ltd An inspection device which may contain a payload device
US20080253685A1 (en) * 2007-02-23 2008-10-16 Intellivision Technologies Corporation Image and video stitching and viewing method and system
US9137497B2 (en) * 2007-04-11 2015-09-15 At&T Intellectual Property I, Lp Method and system for video stream personalization
GB2449631B (en) 2007-05-21 2012-02-15 Doo Technologies Fze Method and system for processing of images
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CA3036872C (en) * 2007-05-25 2020-04-28 Google Llc Rendering, viewing and annotating panoramic images, and applications thereof
WO2009017332A1 (en) * 2007-07-29 2009-02-05 Nanophotonics Co., Ltd. Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
JP4683029B2 (ja) * 2007-09-28 2011-05-11 カシオ計算機株式会社 燃料電池装置及び電子機器
WO2009064504A1 (en) 2007-11-16 2009-05-22 Tenebraex Corporation Systems and methods of creating a virtual window
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
MY146158A (en) * 2007-11-27 2012-06-29 Mimos Berhad Method for image geometric transformation
GB2455498A (en) * 2007-11-30 2009-06-17 Dooworks Fz Co Method and system for processing of images
JP4694581B2 (ja) * 2008-01-25 2011-06-08 富士フイルム株式会社 ファイル生成装置および方法、３次元形状再生装置および方法並びにプログラム
JP5428210B2 (ja) 2008-06-11 2014-02-26 ソニー株式会社 情報処理装置、撮像システム、録画制御方法及びプログラム
JP5215097B2 (ja) * 2008-09-12 2013-06-19 公立大学法人首都大学東京 撮像画像の変換方法
JP5413081B2 (ja) * 2009-02-18 2014-02-12 セイコーエプソン株式会社 画像表示方法および画像表示装置
JP2010282611A (ja) * 2009-05-07 2010-12-16 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP5482394B2 (ja) * 2009-05-13 2014-05-07 セイコーエプソン株式会社 画像処理方法および画像処理装置
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20110069148A1 (en) * 2009-09-22 2011-03-24 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US20110210960A1 (en) * 2010-02-26 2011-09-01 Google Inc. Hierarchical blurring of texture maps
CN101895693A (zh) * 2010-06-07 2010-11-24 北京高森明晨信息科技有限公司 生成全景图像的方法及装置
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
JP5555101B2 (ja) 2010-08-31 2014-07-23 株式会社日立情報通信エンジニアリング 画像補正装置、補正画像生成方法および補正画像生成プログラム
JP5578011B2 (ja) * 2010-10-14 2014-08-27 大日本印刷株式会社 広角撮影画像へのスーパーインポーズ方法および装置
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN103493105B (zh) * 2011-04-25 2017-04-05 林光雄 全方位图像编辑程序及全方位图像编辑装置
FR2976098B1 (fr) * 2011-06-06 2013-07-12 Myriad France Procede d'affichage d'une image elementaire d'une image composee et dispositif de visualisation associe
JP2013064996A (ja) * 2011-08-26 2013-04-11 Nikon Corp 三次元画像表示装置
JP2013055472A (ja) * 2011-09-02 2013-03-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP5863374B2 (ja) * 2011-10-11 2016-02-16 本田技研工業株式会社 画像処理方法
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US9177988B2 (en) 2011-12-16 2015-11-03 Chromatra, Llc. Systems and methods for creating full-color image in low light
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
US20150172544A1 (en) * 2012-07-04 2015-06-18 Zhipin Deng Panorama based 3d video coding
JP6065474B2 (ja) * 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
US8902322B2 (en) * 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
CN103021013A (zh) * 2012-11-28 2013-04-03 无锡羿飞科技有限公司 投影机球形显示及旋转输出图像的高效处理方法
CN103035015B (zh) * 2012-11-28 2016-02-17 无锡羿飞科技有限公司 投影机球形显示输出图像的处理方法
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6292227B2 (ja) * 2013-04-30 2018-03-14 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6090786B2 (ja) * 2013-05-09 2017-03-08 国立大学法人 東京大学 背景差分抽出装置及び背景差分抽出方法
KR102109933B1 (ko) * 2013-07-01 2020-05-12 삼성전자주식회사 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
JP6271917B2 (ja) * 2013-09-06 2018-01-31 キヤノン株式会社 画像記録装置及び撮像装置
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9230359B2 (en) * 2013-12-04 2016-01-05 Boogoo Intellectual Property LLC Method for resizing an image
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
JP6434209B2 (ja) 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
JP5835384B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
ES2552400B1 (es) * 2014-05-27 2016-09-09 Armando RODRÍGUEZ ECHAPRESTO Procedimiento para la digitalización de espacios cerrados para la inclusión de información en imágenes digitales
JP2016025640A (ja) * 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 情報処理装置、情報処理方法およびプログラム
US9856856B2 (en) * 2014-08-21 2018-01-02 Identiflight International, Llc Imaging array for bird or bat detection and identification
ES2821735T3 (es) 2014-08-21 2021-04-27 Identiflight Int Llc Sistema y procedimiento de detección de pájaros
CN105100640B (zh) * 2015-01-23 2018-12-18 武汉智源泉信息科技有限公司 一种局部配准并行视频拼接方法及系统
WO2016145430A1 (en) * 2015-03-12 2016-09-15 Vita-Mix Management Corporation Display system for blending systems
EP3310061A4 (en) * 2015-06-12 2018-12-12 Sony Corporation Information processing device and information processing method
CN104932842B (zh) * 2015-06-18 2018-03-02 武汉新芯集成电路制造有限公司 一种将三维存储器的三维比特数据转换成二维比特图的方法
US10372108B2 (en) * 2015-08-08 2019-08-06 PopUp Play Inc. Production of components of custom structures
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
CN105578129A (zh) * 2015-12-14 2016-05-11 谭焕玲 一种多路多画面视频拼接装置
US10217283B2 (en) 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
US9787896B2 (en) * 2015-12-29 2017-10-10 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US10282814B2 (en) * 2016-01-07 2019-05-07 Mediatek Inc. Method and apparatus of image formation and compression of cubic images for 360 degree panorama display
WO2017127816A1 (en) * 2016-01-22 2017-07-27 Ziyu Wen Omnidirectional video encoding and streaming
KR102523997B1 (ko) * 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
US9992400B2 (en) * 2016-02-23 2018-06-05 VideoStitch Inc. Real-time changes to a spherical field of view
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection
GB2548358A (en) * 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
CN105898339A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频转码的方法及装置
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
CN109076253A (zh) * 2016-04-28 2018-12-21 索尼公司 信息处理装置和信息处理方法、以及三维图像数据发送方法
US10249019B2 (en) * 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
KR102343651B1 (ko) * 2016-05-13 2021-12-28 소니그룹주식회사 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
EP3627844A1 (en) * 2016-05-13 2020-03-25 SONY Corporation File generation device, file generation method, reproducing device, and reproducing method
KR102381376B1 (ko) * 2016-05-16 2022-03-31 삼성전자주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
US10848668B2 (en) 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
GB202108749D0 (en) * 2016-05-23 2021-08-04 Canon Kk Method, device, and computer program for adaptive streaming of virtual reality media content
CN105959702B (zh) * 2016-05-30 2019-03-22 北京奇艺世纪科技有限公司 一种球面视频编码方法和装置
CN105872386A (zh) * 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
CN106203226B (zh) * 2016-06-23 2019-04-09 北京印刷学院 一种球体表面的二维码的生成和采集方法
TWI637356B (zh) * 2016-06-30 2018-10-01 聯發科技股份有限公司 將全向圖像映射到佈局輸出格式的方法和裝置
KR102521272B1 (ko) * 2016-07-08 2023-04-12 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
US10339688B2 (en) 2016-07-28 2019-07-02 Cyberlink Corp. Systems and methods for rendering effects in 360 video
CN106210716B (zh) * 2016-08-01 2019-08-23 上海国茂数字技术有限公司 一种全景视频等密度采样方法及装置
WO2018038523A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
CN106412554B (zh) * 2016-09-22 2018-05-18 北京搜狐新媒体信息技术有限公司 一种编码方法及装置
EP3301915A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra most probable modes
EP3301933A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to provide indication of mapping of omnidirectional images
EP3301929A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
CN108475337B (zh) 2016-10-07 2022-02-15 联发科技股份有限公司 视频编解码方法及装置
WO2018064965A1 (en) 2016-10-07 2018-04-12 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
CN107945101B (zh) * 2016-10-13 2021-01-29 华为技术有限公司 图像处理方法和装置
KR102598082B1 (ko) 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
EP3315907A1 (de) * 2016-10-27 2018-05-02 Leica Geosystems AG Verfahren zur visuellen darstellung von scandaten
EP3319307B1 (en) * 2016-10-27 2023-09-06 Samsung Electronics Co., Ltd. Spherical image display apparatus and method of displaying a spherical image on a planar display
CN106991640B (zh) * 2016-10-31 2020-06-16 深圳市圆周率软件科技有限责任公司 一种全景图像展开方法及系统
EP3823273A1 (en) 2016-11-17 2021-05-19 Intel Corporation Spherical rotation for encoding wide view video
WO2018093851A1 (en) 2016-11-17 2018-05-24 Intel Corporation Suggested viewport indication for panoramic video
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
KR20180073499A (ko) * 2016-12-22 2018-07-02 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
CN108470379B (zh) * 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN107045805B (zh) * 2017-03-07 2020-02-14 安徽工程大学 一种用于小型航空器和空飘物的监测方法及系统
DE102018002049B4 (de) 2017-03-15 2022-02-10 Avago Technologies International Sales Pte. Ltd. 360-grad-video mit kombiniertem projektionsformat
US10643301B2 (en) * 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
CA3056739A1 (en) * 2017-03-24 2018-09-27 Sony Corporation Information processing apparatus and information processing method, and program
CN107146274B (zh) * 2017-05-05 2021-06-22 上海兆芯集成电路有限公司 图像数据处理系统、纹理贴图压缩和产生全景视频的方法
US10607383B2 (en) * 2017-05-11 2020-03-31 International Business Machines Corporation Seamless focus plane stitching to create panoramic video
JP6331178B1 (ja) * 2017-05-12 2018-05-30 パナソニックＩｐマネジメント株式会社 画像処理装置、及び、画像処理方法
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20200137417A1 (en) * 2017-06-26 2020-04-30 Sony Corporation Generation device and generation method, and reproduction device and reproduction method
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
WO2019023277A1 (en) 2017-07-24 2019-01-31 Chromatra, Llc SYSTEM AND APPARATUS FOR COLOR IMAGING DEVICE
EP3669333B1 (en) 2017-08-15 2024-05-01 Nokia Technologies Oy Sequential encoding and decoding of volymetric video
WO2019034808A1 (en) 2017-08-15 2019-02-21 Nokia Technologies Oy CODING AND DECODING VOLUMETRIC VIDEO
CN109816587B (zh) * 2017-11-20 2021-04-16 杭州海康威视数字技术股份有限公司 一种鱼眼图像处理方法、装置及电子设备
JP6472864B1 (ja) * 2017-11-29 2019-02-20 株式会社近江デジタルファブリケーションズ 画像配信システム、及び配信画像生成方法
CN108088846A (zh) * 2017-12-07 2018-05-29 江浩 物体表面瑕疵检测方法及系统
CN109982005A (zh) * 2017-12-27 2019-07-05 艾迪普（北京）文化科技股份有限公司 一种基于全景视频的图文跟随合成方法
KR20190096697A (ko) * 2018-02-09 2019-08-20 삼성전자주식회사 전자 장치 및 전자 장치의 전 방향 영상 표시 방법
EP3756170A4 (en) 2018-02-23 2021-11-17 Nokia Technologies Oy VOLUMETRIC VIDEO ENCODING AND DECODING
CN110364127A (zh) * 2018-04-10 2019-10-22 普天信息技术有限公司 智能大屏幕系统的自适应显示方法及装置
CN108629832A (zh) * 2018-04-23 2018-10-09 广东奥园奥买家电子商务有限公司 一种3d球面坐标映射到二维平面的实现方法
EP3606032B1 (en) * 2018-07-30 2020-10-21 Axis AB Method and camera system combining views from plurality of cameras
CN109062416B (zh) * 2018-08-29 2021-11-02 广州视源电子科技股份有限公司 地图的状态转换方法和装置
CN109714590A (zh) * 2018-12-17 2019-05-03 广东工业大学 一种基于全景技术的环幕电影制作及播放方法
CN111383264B (zh) * 2018-12-29 2023-12-29 深圳市优必选科技有限公司 一种定位方法、装置、终端及计算机存储介质
CN112132740B (zh) * 2019-06-25 2023-08-25 杭州海康威视数字技术股份有限公司 视频图像显示方法、装置及系统
CN111275813B (zh) * 2020-01-20 2021-09-17 北京字节跳动网络技术有限公司 数据处理方法、装置和电子设备
CN111597954A (zh) * 2020-05-12 2020-08-28 博康云信科技有限公司 一种在监控视频中标识车辆位置的方法及系统
US20220113423A1 (en) * 2020-10-12 2022-04-14 SZ DJI Technology Co., Ltd. Representation data generation of three-dimensional mapping data
CN114143602B (zh) * 2021-12-06 2023-07-07 深圳创维数字技术有限公司 全景画面的播放方法、装置、全景播放服务器和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
JPH0962861A (ja) 1995-08-21 1997-03-07 Matsushita Electric Ind Co Ltd パノラマ映像装置
JPH1013623A (ja) 1996-06-21 1998-01-16 Nikon Corp 画像入力方法
JPH10136263A (ja) * 1996-10-24 1998-05-22 N Ii C Sanei Kk 熱画像収録装置及び熱画像収録方法
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2000067227A (ja) 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
JP2000137800A (ja) * 1998-08-27 2000-05-16 Tateyama R & D:Kk 画像処理装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6978051B2 (en) * 2000-03-06 2005-12-20 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US6669346B2 (en) * 2000-05-15 2003-12-30 Darrell J. Metcalf Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7262789B2 (en) * 2002-01-23 2007-08-28 Tenebraex Corporation Method of creating a virtual window

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100585822B1 (ko) * 2004-04-26 2006-06-01 주식회사 일리시스 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
KR101036731B1 (ko) * 2004-12-17 2011-05-24 마이크로소프트 코포레이션 손실 및 무손실 2차원 데이터 압축을 위한 가역 변환
US8036274B2 (en) 2005-08-12 2011-10-11 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding
KR100978469B1 (ko) * 2006-11-17 2010-08-26 문석환 좌표계 변환 방법
US8447591B2 (en) 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
KR100933297B1 (ko) * 2009-08-31 2009-12-22 (주)지에스엠솔루션 Ｇｐｓ/ｉｎｓ장비와 전방위 카메라로부터 취득한 구면 영상을 이용한 3차원 좌표 추출 방법
KR100946707B1 (ko) * 2009-09-16 2010-03-12 (주)올라웍스 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2017175888A1 (ko) * 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
KR20190020083A (ko) * 2016-06-27 2019-02-27 후아웨이 테크놀러지 컴퍼니 리미티드 인코딩 방법 및 장치 및 디코딩 방법 및 장치
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR20180028299A (ko) * 2016-09-08 2018-03-16 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
KR20190101930A (ko) * 2016-09-08 2019-09-02 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
US10904570B2 (en) 2016-09-08 2021-01-26 Kaonmedia Co., Ltd. Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same
KR20190050817A (ko) * 2016-09-20 2019-05-13 캐논 가부시끼가이샤 정보 처리 디바이스 및 이를 제어하는 방법, 및 컴퓨터 프로그램
KR20180046207A (ko) * 2016-10-27 2018-05-08 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
WO2018182144A1 (ko) * 2017-03-29 2018-10-04 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2019066529A1 (ko) * 2017-09-29 2019-04-04 가온미디어 주식회사 프레임 패킹을 제공하는 가상 현실 영상의 부호화/복호화 방법 및 그 장치

Also Published As

Publication number Publication date
EP1441307A4 (en) 2007-11-28
CN100380403C (zh) 2008-04-09
US20040247173A1 (en) 2004-12-09
JP2003141562A (ja) 2003-05-16
EP1441307A1 (en) 2004-07-28
US7483590B2 (en) 2009-01-27
CN1491403A (zh) 2004-04-21
WO2003038752A1 (fr) 2003-05-08

Similar Documents

Publication Publication Date Title
KR20040050888A (ko) 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램
US6031540A (en) Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US7123777B2 (en) System and method for panoramic imaging
US7426317B2 (en) Image processing apparatus and image processing method, storage medium and computer program
Chen Quicktime VR: An image-based approach to virtual environment navigation
US6327381B1 (en) Image transformation and synthesis methods
US6760026B2 (en) Image-based virtual reality player with integrated 3D graphics objects
US7656403B2 (en) Image processing and display
Schreer et al. Capture and 3D video processing of volumetric video
US20020113865A1 (en) Image processing method and apparatus
JP4403421B2 (ja) 画像処理装置及び画像処理方法
US5694531A (en) Method and apparatus for simulating movement in multidimensional space with polygonal projections
JP2003536160A (ja) 画像およびビデオをマッピングして操作可能で仮想現実感のあるビデオおよび画像をつくる方法と装置
JPH0879622A (ja) 広角画像における歪み解除の方法および装置
Nielsen Surround video: a multihead camera approach
JP3352475B2 (ja) 画像表示装置
JP2002203254A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JPWO2019078033A1 (ja) 再生装置および方法、並びに、生成装置および方法
JP3387900B2 (ja) 画像処理方法及び装置
JPH10208074A (ja) 画像生成方法
CN109792490B (zh) 用于流图像压缩的球面视频的改进的伪圆柱映射
JP2002203237A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP3532823B2 (ja) 画像合成方法および画像合成プログラムを記録した媒体
KR102196032B1 (ko) 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템
Der et al. Interactive viewing of panoramic images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application