KR101760639B1 - 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법 - Google Patents
입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법 Download PDFInfo
- Publication number
- KR101760639B1 KR101760639B1 KR1020170041918A KR20170041918A KR101760639B1 KR 101760639 B1 KR101760639 B1 KR 101760639B1 KR 1020170041918 A KR1020170041918 A KR 1020170041918A KR 20170041918 A KR20170041918 A KR 20170041918A KR 101760639 B1 KR101760639 B1 KR 101760639B1
- Authority
- KR
- South Korea
- Prior art keywords
- frame
- peripheral
- image
- view image
- warping
- Prior art date
Links
- 230000002093 peripheral effect Effects 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000007654 immersion Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000002156 mixing Methods 0.000 claims abstract description 13
- 238000013213 extrapolation Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 10
- 230000002547 anomalous effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 101100365575 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SFG1 gene Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법에 관한 것이다.
본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 방법은 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리(Preprocessing) 단계, 상기 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑(Prewarping) 단계, 상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링 단계, 상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 제 1 영역 주변의 제 2 영역(Second Area)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑 단계 및 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합단계를 포함할 수 있다.
본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 방법은 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리(Preprocessing) 단계, 상기 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑(Prewarping) 단계, 상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링 단계, 상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 제 1 영역 주변의 제 2 영역(Second Area)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑 단계 및 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합단계를 포함할 수 있다.
Description
본 발명은 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법에 관한 것이다.
상세하게는, 입력되는 영상 신호를 처리하여 타깃 프레임(Target Frame)에 대응하는 주변뷰 영상(Peripheral Image)을 생성하고, 생성한 주변부 영상을 타깃 프레임에 융합하여 표시하는 몰입형 디스플레이 장치 및 방법에 관한 것이다.
몰입형 디스플레이 장치는 기존 디스플레이 장치와 비교하여 사용자에게 보다 넓은 화각의 영상을 제공하여 사용자로 하여금 영상에 몰입할 수 있도록 하는 장치이다.
일례로서 종래의 몰입형 디스플레이 장치에서는 넓은 화각의 영상을 제공하기 위한 다수의 카메라를 이용하여 다양한 각도로 영상을 촬영하고, 촬영한 영상을 조합하는 방법을 이용할 수 있다.
그러나 다수의 카메라를 사용하는 경우에는 비용이 증가하고, 데이터의 처리량이 과도하게 증가할 수 있다.
또는 다른 예로서 종래의 몰입형 디스플레이 장치에서는 촬영 각도가 큰 카메라를 사용하여 영상을 촬영하는 방법을 이용할 수 있다.
이러한 경우에는 영상의 해상도(Resolution)가 낮아지는 문제점이 있다.
본 발명은 좁은 화각을 갖는 영상 신호를 처리하여 넓은 화각을 갖는 영상을 생성하기 위해, 좁은 화각의 영상 신호로부터 주변부 영상을 생성하는 몰입형 디스플레이 장치 및 방법를 제공하는데 그 목적이 있다.
본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 방법은 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리(Preprocessing) 단계, 상기 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑(Prewarping) 단계, 상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링 단계, 상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 제 1 영역 주변의 제 2 영역(Second Area)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑 단계 및 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합단계를 포함할 수 있다.
또한, 상기 영상-공간 정보는 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함할 수 있다.
또한, 상기 주변 프레임과 상기 타깃 프레임은 동일한 샷(Shot)에 포함될 수 있다.
또한, 동일한 샷에 포함되는 프레임 그룹(Frame Group)의 모든 타깃 프레임에 대응하여 샘플링될 수 있다.
또한, 상기 프레임 그룹에 포함된 각각의 프레임은 타깃 프레임일 수 있다.
또한, 상기 타깃 프레임 상의 제 1 화면점(First Scene Point)에 대응하는 상기 주변 프레임 상의 화면점을 제 2 화면점(Second Scene Point)이라 하고, 상기 제 2 화면점을 제 1 와핑한 화면점을 제 2 와핑 화면점(Second Warping Scene Point)이라 할 때, 상기 선와핑 단계에서는 상기 제 1 화면점과 상기 제 2 와핑 화면점 사이의 거리(Distance)가 미리 설정된 기준거리보다 큰 경우에 상기 제 2 화면점을 이상점으로 설정할 수 있다.
또한, 상기 샘플링된 프레임은 상기 타깃 프레임과 중첩(Overlap)되지 않는 부분을 포함할 수 있다.
또한, 상기 융합단계에서는 상기 타깃 프레임에 대응하여 상기 메인뷰 영상에 근접한 순서로 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합할 수 있다.
또한, 상기 메인뷰 영상 신호에 대응하는 해상도와 상기 주변뷰 영상 신호에 대응하는 해상도는 동일할 수 있다.
본 발명에 따른 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치는 영상을 표시하기 위한 디스플레이부(Display Part), 상기 디스플레이부의 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리부(Preprocessing Part), 상기 선처리부가 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑부(Prewarping Part), 상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링부(Sampling Part), 상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 디스플레이부의 상기 제 1 영역 주변의 제 2 영역(Second Area)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑부(Warping Part) 및 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합부(Blending Part)를 포함할 수 있다.
또한, 상기 영상-공간 정보는 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함할 수 있다.
또한, 상기 주변 프레임과 상기 타깃 프레임은 동일한 샷(Shot)에 포함될 수 있다.
또한, 동일한 샷에 포함되는 복수의 프레임을 포함하는 프레임 그룹(Frame Group)의 모든 타깃 프레임에 대응하여 샘플링되는 프레임은 동일할 수 있다.
또한, 상기 프레임 그룹에 포함된 각각의 프레임은 타깃 프레임일 수 있다.
또한, 상기 타깃 프레임 상의 제 1 화면점(First Scene Point)에 대응하는 상기 주변 프레임 상의 화면점을 제 2 화면점(Second Scene Point)이라 하고, 상기 제 2 화면점을 제 1 와핑한 화면점을 제 2 와핑 화면점(Second Warping Scene Point)이라 할 때, 상기 선와핑부는 상기 제 1 화면점과 상기 제 2 와핑 화면점 사이의 거리(Distance)가 미리 설정된 기준거리보다 큰 경우에 상기 제 2 화면점을 이상점으로 설정할 수 있다.
또한, 상기 샘플링된 프레임은 상기 타깃 프레임과 중첩(Overlap)되지 않는 부분을 포함할 수 있다.
또한, 상기 융합부는 상기 타깃 프레임에 대응하여 상기 메인뷰 영상에 근접한 순서로 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합할 수 있다.
또한, 상기 메인뷰 영상 신호에 대응하는 해상도와 상기 주변뷰 영상 신호에 대응하는 해상도는 동일할 수 있다.
본 발명에 따른 또 다른 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치는 제 1 표시 영역(First Display Area)을 포함하는 제 1 디스플레이부(First Display Part), 제 2 표시 영역(Second Display Area)을 포함하는 제 2 디스플레이부(Second Display Part), 상기 제 1 디스플레이부에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리부(Preprocessing Part), 상기 선처리부가 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑부(Prewarping Part), 상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링부(Sampling Part), 상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 제 2 디스플레이부에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑부(Warping Part) 및 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합부(Blending Part)를 포함할 수 있다.
또한, 상기 영상-공간 정보는 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함할 수 있다.
본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 장치 및 방법은 입력되는 영상신호의 타깃 프레임의 주변 프레임(Peripheral Frame)의 영상 정보를 이용하여 타깃 프레임에 대응하는 주변뷰 영상을 생성함으로써, 주변뷰 영상의 해상도의 저하를 방지할 수 있는 효과가 있다.
또한, 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 장치 및 방법은 데이터 처리에 소요되는 시간을 줄일 수 있는 효과가 있다.
또한, 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 장치 및 방법은 주변뷰 영상의 왜곡을 억제할 수 있는 효과가 있다.
도 1 내지 도 3은 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 장치에 대해 설명하기 위한 도면이다.
도 4 내지 도 18은 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 방법에 대해 설명하기 위한 도면이다.
도 4 내지 도 18은 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 방법에 대해 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 장치 및 방법에 대해 상세히 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
아울러, 이하의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 보다 완전하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서 설명되는 다양한 실시예들은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 발명의 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 소프트웨어적인 구현에 의하면, 본 발명에서 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다.
이하에서 'A 및/또는 B'는 'A 및 B 중 적어도 하나'로 해석될 수 있다.
도 1 내지 도 3은 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 장치에 대해 설명하기 위한 도면이다.
도 1을 살펴보면, 본 발명에 따른 몰입형 디스플레이 장치는 복수의 디스플레이부(Display Part, 11, 12, 13)를 포함하는 디스플레이 장치(10)와 입력되는 영상 신호(Video Signal)를 소정의 과정을 통해 처리하여 디스플레이 장치(10)에 공급하는 구동부(Driver, 14)를 포함할 수 있다.
예를 들면, 디스플레이 장치(10)는 제 1 표시 영역(First Display Area)을 포함하는 제 1 디스플레이부(First Display Part, 11) 및 제 2 표시 영역(Second Display Area)을 포함하는 제 2 디스플레이부(Second Display Part, 12, 13)를 포함할 수 있다.
제 1 디스플레이부(11)의 제 1 표시 영역에는 메인뷰 영상(Main-View Video Image)이 표시되고, 제 2 디스플레이부(12, 13)의 제 2 표시 영역에는 주변뷰 영상(Peripheral-View Image)이 표시될 수 있다.
이를 고려할 때, 제 1 디스플레이부(11)는 메인 디스플레이부(Main Display Part)라고 하고, 제 2 디스플레이부(12, 13)는 주변 디스플레이부(Peripheral Display Part)라고 하는 것도 가능할 수 있다.
제 1 디스플레이부(11)에 대응되는 영상신호를 메인뷰 영상 신호(Main-View Video Signal)라고 하고, 제 2 디스플레이부에 대응되는 영상신호를 주변뷰 영상 신호(Peripheral-View Video Signal)라고 할 수 있다.
제 1 디스플레이부(11)와 제 2 디스플레이부(12, 13)는 사용자의 주변을 둘러싸는 형태로 배치될 수 있다. 이러한 경우, 사용자는 제 1 디스플레이부(11)에 표시되는 메인뷰 영상과 제 2 디스플레이부(12, 13)에 표시되는 주변뷰 영상으로부터 보다 강한 몰입감을 느낄 수 있다.
제 1 디스플레이부(11)의 주변에는 복수의 제 2 디스플레이부(12, 13)가 배치되는 것이 가능하다. 예를 들면, 제 1 디스플레이부(11)의 우측에는 제 2-1 디스플레이부(12)가 배치되고, 제 1 디스플레이부(11)의 좌측에는 제 2-2 디스플레이부(13)가 배치되는 것이 가능할 수 있다.
도 1에서는 제 1 디스플레이부(11)의 주변에 두 개의 보조적인 디스플레이부가 배치되는 경우를 설명하고 있지만, 본 발명은 이에 한정되지 않을 수 있다. 예를 들면, 제 1 디스플레이부(11)의 상, 하, 좌, 우에 각각 보조적인 디스플레이부를 배치하는 경우도 가능할 수 있다. 또는, 제 2-1 디스플레이부(12) 또는 제 2-2 디스플레이부(13) 중 어느 하나가 생략되는 것도 가능할 수 있다.
구동부(14)는 입력되는 영상 신호를 처리하여 제 2 디스플레이부(12, 13)에 표시될 주변뷰 영상을 생성할 수 있다.
이러한 구동부(14)는, 도 2와 같이, 선처리부(Preprocessing Part, 100), 선와핑부(Prewarping Part, 110), 샘플링부(Sampling Part, 120), 와핑부(Warping Part, 130), 융합부(Blending Part, 140) 및 제어부(Controller, 150)를 포함할 수 있다.
선처리부(100)는 입력되는 영상 신호를 처리하여 영상-공간 정보(Scene-Space Information)를 획득할 수 있다.
선처리부(100)가 처리하는 영상 신호는 디스플레이부(10)의 제 1 영역(First Area), 즉 제 1 디스플레이부(11)에 대응되는 영상 신호일 수 있다. 만약, 구동부(14)가 주변뷰 영상을 생성하지 않는 경우에는 입력되는 영상 신호에 대응하여 제 1 디스플레이부(11)에는 영상이 표시되지만, 제 2 디스플레이부(12, 13)에는 영상이 표시되지 않을 수 있다.
선처리부(100)에 의해 획득되는 영상-공간 정보는 영상 신호의 와핑(Warping) 처리에 필요한 정보로서, 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함할 수 있다. 여기서, 화면점 정보는 3D 화면점(3D Scene Point) 정보일 수 있다.
화면점 정보와 카메라 파라메터 정보는 Structure-From-Motion(SFM) 기술을 통해 획득될 수 있다. Structure-From-Motion(SFM) 기술은 이미 공지되었으므로 이에 대한 상세한 설명은 생략될 수 있다.
여기서, 화면점 정보는 이미지 상의 소정의 영상 데이터를 갖는 부분에 대한 정보라고 할 수 있다.
선와핑부(110)는 선처리부(100)가 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)할 수 있다. 여기서, 주변 프레임을 제 1 와핑한다는 것은 주변 프레임에 대응하는 영상 신호를 1차적으로 와핑한다는 것으로 볼 수 있다.
와핑은 영상의 시차 등의 정보를 근거로 하여 영상에 대한 데이터를 쉬프트(Shift) 등의 방법으로 변형하는 것을 의미할 수 있다.
선와핑부(110)는 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별할 수 있다.
주변 프레임을 결정하는 방법 및 이상점을 판별하는 방법에 대한 내용은 이하의 설명을 통해 보다 명확히 하도록 한다.
샘플링부(120)는 선와핑부(110)에 의한 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)할 수 있다. 다르게 표현하면, 샘플링부(120)는 주변뷰 영상을 생성하는데 적합한 적어도 하나의 주변 프레임을 선택할 수 있다.
와핑부(130)는 샘플링부(120)에 의해 샘플링된 프레임에 대해 이상점을 제외하여 제 2 와핑(Second Warping)할 수 있다. 여기서, 샘플링된 프레임을 제 2 와핑한다는 것은 샘플링부(120)에 의해 선택된 주변 프레임에 대응하는 영상 신호를 2차적으로 와핑한다는 것으로 볼 수 있다.
아울러, 와핑부(130)는 제 2 와핑에 대한 결과로부터 디스플레이부(10)의 제 1 영역 주변의 제 2 영역(Second Area), 즉 제 2 디스플레이부(12, 13)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성할 수 있다.
다르게 표현하면, 와핑부(130)는 샘플링된 프레임을 이상점을 제외하고 와핑하여 주변부 영상을 생성할 수 있다.
와핑부(130)는 제 2 와핑을 수행하기 위해 선와핑부(110)로부터 이상점에 대한 정보를 획득할 수 있다.
융합부(140)는 와핑부(130)가 생성한 주변뷰 영상 신호를 메인뷰 영상 신호에 융합(Blending)할 수 있다.
디스플레이부(10)는 융합부(140)가 융합한 영상 신호에 대응하는 영상을 시청가능하도록 표시할 수 있다.
제어부(150)는 영상 처리 및 영상 표시에 대한 전반적인 제어기능을 수행할 수 있다.
만약, 선처리부(100), 선와핑부(110), 샘플링부(120), 와핑부(130) 및 융합부(140)가 독립적인 판단과 제어기능을 수행하는 경우에는 제어부(150)는 생략되는 것도 가능할 수 있다.
선와핑부(110)와 와핑부(130)는 와핑을 수행한다는 점에서 하나로 통합되는 것이 가능할 수 있다.
한편, 이상에서는 메인뷰 영상은 제 1 디스플레부(11)에 표시되고, 주변뷰 영상은 제 1 디스플레이부(11)와 다른 제 2 디스플레이부(12, 13)에 표시되는 것으로 설명하였지만, 본 발명은 이에 한정되지 않을 수 있다.
예를 들면, 도 3의 경우와 같이, 디스플레이부(10a)는 하나의 화면(Screen)에 포함되는 제 1 영역(11a) 및 제 1 영역(11a) 주변의 제 2 영역(12a, 13a)을 포함할 수 있다.
이러한 경우, 메인뷰 영상은 디스플레이부(10a)의 제 1 영역(11a)에 표시되고, 주변뷰 영상은 디스플레이부(10a)의 제 2 영역(12a, 13a)에 표시될 수 있다.
이하에서 설명될 본 발명에 따른 몰입형 디스플레이 방법은 다양한 형태의 디스플레이 장치에 적용되는 것이 가능할 수 있다.
도 4 내지 도 18은 본 발명에 따른 주변부 영상을 생성하는 몰입형 디스플레이 방법에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 설명한 부분에 대한 설명은 생략될 수 있다.
도 4를 살펴보면, 본 발명에 따른 몰입형 디스플레이 방법은 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)가 입력(S100)되면, 입력되는 영상 신호를 선처리(S200)할 수 있다. 이러한 선처리 과정을 통해 메인뷰 영상 신호에 대응하는 영상-공간 정보를 획득할 수 있다.
예를 들면, 선처리 단계(S200)에서는 Structure-From-Motion(SFM) 기술을 이용하여 영상 신호에 포함된 각각의 프레임에 대한 화면점 정보와 카메라 파라미터에 대한 정보를 획득할 수 있다.
이후, 타깃 프레임(Target Frame, TF)에 대응하는 주변 프레임(Neighborhood Frame, NF)을 확인(Identifying)(S210)할 수 있다. 자세하게는, 선처리 단계(S200)에서 획득한 영상-공간 정보를 근거로 하여 타깃 프레임(TF)에 대응하는 주변 프레임(NF)을 확인할 수 있다. 여기서, 주변 프레임(NF)은 타깃 프레임(TF)에 시간상으로 인접하는 프레임일 수 있다.
또한, 주변 프레임(NF)과 타깃 프레임(TF)은 동일한 샷(Single Shot)에 포함될 수 있다.
위 내용을 고려하면, 동일한 샷에 포함되는 복수의 프레임을 포함하는 프레임 그룹(Frame Group, FG) 내에서 타깃 프레임(TF)과 그에 대응하는 주변 프레임(NF)을 설정하는 것이 가능하다.
예를 들어, 도 5와 같이, 제 1 프레임(F1)과 제 2 프레임(F2)의 사이 시점(t1)에서 화면전환(Scene Transition)이 발생하고, 이후 제 n 프레임(Fn)과 제 n+1 프레임(Fn+1)의 사이 시점(t2)에서 또 다시 화면전환이 발생하는 경우를 가정하여 보자.
이러한 경우, 제 2 프레임(F2)부터 제 n 프레임(Fn)은 동일한 카메라 샷에 대응하여 촬영된 것으로 볼 수 있다. 이러한 제 2 프레임(F2)부터 제 n 프레임(Fn)을 프레임 그룹(FG)으로 간주할 수 있다.
프레임 그룹(FG) 내에서 타깃 프레임(TF)을 제외한 나머지 프레임을 모두 주변 프레임(NF)으로 설정하는 것이 가능하다. 예를 들어, 도 5와 같은 경우에, 프레임 그룹(FG) 내에서 제 4 프레임(F4)을 타깃 프레임(TF)으로 하는 경우에는 제 2-3, 5-n 프레임(F2-F3, F5-Fn)을 타깃 프레임(TF)인 제 4 프레임(F4)의 주변 프레임(NF)으로 설정할 수 있다.
또는, 프레임 그룹(FG) 내에서 타깃 프레임(TF)을 제외한 나머지 프레임 중 소정 기준에 따라 선택된 프레임을 주변 프레임(NF)으로 설정하는 것도 가능할 수 있다.
이처럼, 화면전환을 근거로 하여 타깃 프레임(TF)에 대응하는 주변 프레임(NF)을 설정하는 경우에는 처리하는 데이터의 양이 과도하게 증가하는 것을 억제하는 것이 가능할 수 있다.
아울러, 위에서 설명한 방법에 따라 타깃 프레임(TF)에 대응하여 주변 프레임(NF)을 설정하면, 타깃 프레임(TF)과 주변 프레임(NF)의 영상 데이터의 유사성을 충분히 확보할 수 있다. 이러한 경우, 메인뷰 영상과 주변뷰 영상의 시각적, 공간적 일관성(Coherency)을 향상시킬 수 있다.
프레임 그룹(FG)에 포함된 각각의 프레임은 타깃 프레임일 수 있다.
적어도 하나의 주변 프레임(NF)에 대응하는 카메라 파라메터는 타깃 프레임(TF)에 대응하는 카메라 파라메터와 동일한 것도 가능할 수 있다.
타깃 프레임(TF)에 대응하여 주변 프레임(NF)을 확인한 이후, 주변 프레임에 대응하는 영상 신호에 대해 제 1 와핑(S300)을 수행할 수 있다. 예를 들면, 주변 프레임(NF)의 시점을 타깃 프레임(TF)의 시점에 매칭(Matching)시키도록 주변 프레임(NF)의 영상 데이터를 변형하는 방법으로 제 1 와핑을 수행할 수 있다.
제 1 와핑에 대해 첨부된 도 6을 참조하여 보다 상세히 설명하면 아래와 같다.
제 1 와핑은 이후의 와핑 단계(S500)에서 제외될 이상점을 결정하고, 프레임 샘플링을 위한 기준(Criterion)을 마련하기 위해 수행될 수 있다. 이상점은 Structure-From-Motion(SFM) 기술의 불완전성에 의해 발생할 수 있다.
제 1 와핑은 Mesh Optimization Scheme을 이용한 Content-Preserving Warping Technique에 의해 달성될 수 있다.
자세하게는, 도 6과 같이, 제 1 와핑은 수학식 1에 의해 연산되는 에너지와 수학식 2에 의해 연산되는 에너지의 합(수학식 3)이 최소가 되는 방향으로 수행할 수 있다.
수학식 1, 2, 3에 대해 보다 상세히 살펴보면 아래와 같다.
수학식 1은 변위(Displacement)에 대한 에너지 함수(Function)를 의미할 수 있다.
수학식 1에서 f k M 와 f k I 는 구면 좌표계를 갖는 k번째 특징점 쌍(Pair of Matched Feature Point)을 의미할 수 있다.
f k M 는 구면좌표계로 변환된 제 1 영상신호에 대응되고, f k I 는 구면좌표계로 역변환된 제 2 영상신호(φ(It))에 대응될 수 있다.
j는 버텍스 지수(Vertex indices)를 의미하고, 강조점이 표시된 v j , k 는 각각의 버텍스를 의미하고, w f j , k 는 (f k I )의 무게중심 가중치(Barycentric weight)일 수 있다.
수학식 2에서 R 90 은 90도 회전에 대응하는 매트릭스(Matrix)를 의미할 수 있다.
강조점이 표시된 v1, v2, v3는 삼각면 f(Triangle Face)를 갖는 와핑된 Vertex를 의미할 수 있다.
수학식 3은 수학식 2에 따르는 에너지 함수를 의미할 수 있다.
수학식 4는 수학식 1에 의해 계산된 에너지와 수학식 3에 의해 계산된 에너지의 합을 의미할 수 있다.
수학식 4에서 α는 공간 평탄도 가중치(Spatial Smoothness Weight)를 의미할 수 있다.
t번째 프레임(t-th Frame)의 카메라 파라메터를 ct라고 할 때, ct를 이용하여 t번째 프레임 상에 m개의 화면점(Scene Point)을 투사시키면 m개의 투사점(Projection Point)이 생성될 수 있다. Pt = {pt 1, pt 2,......,pt m}
수학식 1에서 Ptarget은 타깃 프레임(TF) 상의 투사점을 의미할 수 있다. 아울러, P k target은 타깃 프레임(TF) 상의 투사점 중 k번째 투사점을 의미할 수 있다.
f(P k t)는 (P k t)를 갖는 면(Face)을 포함하는 Vertex들에 대한 지수의 집합(Set of Indices)일 수 있다.
(W t j)는 주변 Vertex들(Surrounding Vertices)에 대해 (P k t)의 무게중심(Barycentric Weight)라고 할 수 있다.
여기서, 투사점 Pt는 t번째 프레임의 영상 영역(Field Of View, FOV)을 벗어날 수 있다. 이처럼, 입력 프레임을 벗어나는 위치에 투사되는 투사점을 고려하기 위해 Triangulated Grid Mesh를 생성하여 적용할 수 있다.
각각의 프레임에는 {v j}로 구성되는 Initial Grid Mesh(V)를 갖는다. 여기서, {v j}는 j번째 Grid Vertex를 의미할 수 있다.
강조점이 표시된 V는 {v j}로 구성되는 와핑된 메쉬(Warped Mesh)를 의미할 수 있다.
수학식 1을 통해 P k target과 (P k )의 매칭을 확인할 수 있다.
수학식 2에서 R 90은 90도 회전에 대응하는 매트릭스(Matrix)를 의미할 수 있다.
강조점이 표시된 (v t f 1), (v t f2 ), (v t f3 )는 삼각면 f(Triangle Face)를 갖는 Vertex를 의미할 수 있다.
좌표정보(Local Coordinate)인 u및 v는 Initial Grid Mesh(V)로부터 계산될 수 있다.
수학식 2를 통해 Initial Grid Mesh(V)의 형태 유지(Maintenance of the Initial Shape)를 확인할 수 있다.
수학식 3은 수학식 1에 의해 계산된 에너지와 수학식 2에 의해 계산된 에너지의 합을 의미할 수 있다.
수학식 3에서 λs는 공간 평탄도 가중치(Spatial Smoothness Weight)를 의미할 수 있다.
이러한 수학식 3에 의해 계산되는 에너지가 최소가 되는 방향으로 제 1 와핑을 수행할 수 있다.
아울러, 제 1 와핑은 각각의 타깃 프레임(TF)에 대해 반복적으로 수행될 수 있다.
위와 같은 방법으로 수행한 제 1 와핑의 결과값을 이용하는 방법을 첨부된 도 7을 참조하여 살펴보면 아래와 같다.
도 7을 살펴보면, 선와핑 단계(S300)에서는 입력 영상을 제 1 와핑(S310)하고, 제 1 와핑에 대한 결과값을 도출(S320)할 수 있다.
제 1 와핑에 대한 결과값을 이용하여 와핑 에러(Warping Error)를 판별할 수 있다.
이를 위해, 타깃 프레임(TF) 상의 투사점(Ptarget)과 와핑된 t번째 프레임에 대응되는 강조점이 부여되는 투사점 (Pt)간을 비교(S330)할 수 있다.
아울러, (Ptarget)과 강조점이 부여되는 (Pt)간의 거리(Distance)를 연산(S350)할 수 있다.
이후, (Ptarget)과 강조점이 부여되는 (Pt)간의 거리(Distance)가 미리 설정된 기준거리보다 큰 경우에 해당 투사점을 이상점(Outlier)이라고 판별(S350)할 수 있다.
이상점을 판별하는 방법을 다르게 표현하면, 타깃 프레임(TF) 상의 제 1 화면점(First Scene Point)에 대응하는 주변 프레임(NF) 상의 화면점을 제 2 화면점(Second Scene Point)이라 하고, 제 2 화면점을 제 1 와핑한 화면점을 제 2 와핑 화면점(Second Warping Scene Point)이라 할 때, 제 1 화면점과 제 2 와핑 화면점 사이의 거리(Distance)가 미리 설정된 기준거리보다 큰 경우에 제 2 화면점을 이상점으로 판별할 수 있다.
이러한 방법으로 판별한 이상점은 이후의 와핑단계에서 제외될 수 있다. 이에 대해서는 이후에 보다 상세히 설명한다.
한편, 제 1 와핑에 대한 결과값을 이용하여 프레임 샘플링에 필요한 기준(Sampling Criterion)을 추출할 수 있다.
이를 위해, 제 1 와핑에 대한 결과값을 이용하여 타깃 프레임(TF)에 대응하여 새로 추가되는 부분(주변뷰)를 판별(Determining)(S370)할 수 있다.
이후, 새로 추가되는 부분에 대한 정보를 이용하여 샘플링 기준을 추출(S380)할 수 있다.
샘플링 기준을 마련한 이후에, 샘플링 기준에 따라 와핑할 주변 프레임을 샘플링(S400)할 수 있다. 다르게 표현하면, 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)할 수 있다.
선택된 주변 프레임, 즉 샘플링된 프레임은 타깃 프레임(TF)에 대응하여 주변뷰 영상을 생성하기 위한 효과적인 데이터를 제공할 수 있는 프레임을 의미할 수 있다.
다르게 표현하면, 주변뷰 영상을 생성하는데 적절한(좋은) 데이터를 포함하는 프레임을 샘플링하는 것이 가능하다.
샘플링 기준에 대해 아래에서 보다 자세히 설명한다.
샘플링된 프레임은 타깃 프레임과 중첩(Overlap)되지 않는 부분을 포함할 수 있다.
예를 들어, 하나의 샷으로 도 8의 (A)와 같은 영상을 촬영하는 경우를 가정하여 보자. 도 8의 (A)는 하나의 프레임 그룹(FG)에 대응하는 영상이라고도 할 수 있다. 도 8에서 제 2, 3, 4 프레임(F2, F3, F4)은 타깃 프레임(TF)인 제 1 프레임(F1)의 주변 프레임(NF)일 수 있다.
도 8의 (B)와 같이, 타깃 프레임인 제 1 프레임(F1)은 전체 영상(A)의 제 1 부분(IP1)에 대응될 수 있다.
도 8의 (C)와 같이, 제 1 프레임(F1)과 동일하게 전체 영상(A)의 제 1 부분(IP1)에 대응되는 제 2 프레임(F2)은 샘플링되지 않을 수 있다.
제 2 프레임(F2)을 샘플링하지 않은 이유는 제 2 프레임(F2)에는 제 1 프레임(F1)에 대응하는 주변뷰 영상의 생성에 참조할만한 정보가 포함되지 않았기 때문이다.
또는 이후의 샘플링 과정에서 오류발생을 방지하기 위해 타깃 프레임(TF)인 제 1 프레임(F1)과 동일한 제 2 프레임(F2)을 샘플링 프레임으로 설정하는 것도 가능할 수 있다.
도 8의 (D)와 같이, 제 3 프레임(F3)은 전체 영상(A)의 제 2 부분(IP2)에 대응될 수 있다. 여기서, 제 2 부분(IP2)은 제 1 부분(IP1)과 일부 중첩(Partially Overlap)할 수 있다.
이러한 경우, 제 3 프레임(F3)은 제 1 프레임(F1)에 대한 샘플링 프레임으로서 설정될 수 있다.
도 8의 (E)와 같이, 제 4 프레임(F4)은 전체 영상(A)의 제 3 부분(IP3)에 대응될 수 있다. 여기서, 제 3 부분(IP3)은 제 1 부분(IP1)과 중첩되지 않을 수 있다.
이러한 경우, 제 4 프레임(F4)은 제 1 프레임(F1)에 대한 샘플링 프레임으로서 설정될 수 있다.
제 4 프레임(F4)을 샘플링하는 이유는 제 4 프레임(F4)에는 제 1 프레임(F1)에 대응하는 주변뷰 영상의 생성에 참조할만한 정보가 포함될 가능성이 있기 때문이다.
또는, 메인뷰 영상에 추가될 주변뷰 영상의 크기를 고려하여 적어도 하나의 주변 프레임을 샘플링하는 것이 가능할 수 있다.
예를 들면, 하나의 샷으로 도 9의 (A)와 같은 영상을 촬영하고, 제 1 프레임(F1)이 타깃 프레임인 경우를 가정하여 보자.
도 9의 (B) 및 (C)와 같이, 타깃 프레임(TF)인 제 1 프레임(F1)은 디스플레이부(10)의 제 1 영역(11a)에 대응되면, 아울러 제 1 프레임(F1)은 전체 영상(A)의 제 1 부분(IP1a)에 대응될 수 있다.
도 9의 (D)와 같이, 제 2 프레임(F2)은 전체 영상(A)의 제 2 부분(IP2a)에 대응될 수 있다. 여기서, 제 2 부분(IP2a)은 제 1 부분(IP1a)과 일부 중첩하고, 아울러 제 2 부분(IP2a)은 디스플레이부(10)의 제 2 영역(12a, 13a)과 중첩할 수 있다.
이러한 경우, 제 2 프레임(F2)은 제 1 프레임(F1)에 대한 샘플링 프레임으로서 설정될 수 있다.
반면에, 도 9의 (E)와 같이, 제 3 프레임(F3)은 전체 영상(A)의 제 3 부분(IP3a)에 대응될 수 있다. 여기서, 제 3 부분(IP3a)은 제 1 부분(IP1a)과 중첩하지 않고, 아울러 제 3 부분(IP3a)은 디스플레이부(10)의 제 2 영역(12a, 13a)과도 중첩하지 않을 수 있다.
이러한 경우, 제 3 프레임(F3)은 제 1 프레임(F1)에 대한 샘플링 프레임으로서 설정되지 않을 수 있다.
제 3 프레임(F3)을 샘플링하지 않은 이유는 제 3 프레임(F3)에는 디스플레이부(10)의 제 2 영역(12a, 13a)에 표시될 영상에 대한 정보가 포함되지 않았기 때문이다.
또는, 프레임에 포함된 이상점에 대한 정보를 근거로 하여 적어도 하나의 주변 프레임을 샘플링하는 것이 가능할 수 있다.
예를 들면, 도 10의 경우와 같이, 샘플링 기준 설정 단계(S380)에서 제 1 와핑에 대한 결과값으로부터 프레임별로 이상점의 개수에 대한 정보를 판별(S381)할 수 있다.
이후, 이상점의 개수가 미리 설정된 Threshold보다 큰지의 여부를 판단(S382)할 수 있다.
판단결과, 이상점의 개수가 Threshold보다 큰 경우에는 해당 프레임을 부적절 프레임으로 설정(S383)할 수 있다. 부적절 프레임은 샘플링되지 않을 주변 프레임을 의미할 수 있다.
반면에, 이상점의 개수가 Threshold보다 작은 경우에는 해당 프레임을 샘플링에 적절한 적절 프레임으로 설정(S384)할 수 있다. 이와 같이 샘플링하는 이유는 이상점의 개수가 상대적으로 적다는 것은 영상의 왜곡이 크지 않다는 것을 의미할 수 있기 때문이다.
본 발명에서 와핑할 주변 프레임(NF)을 선택(샘플링)하는 방법은 위에서 설명한 바에 한정되지 않을 수 있다. 예를 들면, 복수의 주변 프레임(NF) 중에서 랜덤으로 와핑할 프레임을 선택하는 것도 가능할 수 있다.
한편, 프레임 그룹(FG) 별로 샘플링하는 프레임을 동일하게 설정하는 것도 가능할 수 있다.
예를 들면, 도 11의 경우와 같이, 제 1 프레임 그룹(FG1)은 제 1 프레임(F1)부터 제 a 프레임(Fa)까지를 포함하고, 제 2 프레임 그룹(FG2)은 제 a+1 프레임(Fa+1)부터 제 n 프레임(Fn)까지를 포함하는 경우를 가정하여 보자.
이러한 경우, 제 1 프레임 그룹(FG1)에 대응하여 제 1 샘플링 프레임 그룹(SFG1)을 설정할 수 있다. 다르게 표현하면, 제 1 프레임 그룹(FG1)에 포함된 각각의 타깃 프레임에 대응하여 샘플링하는 주변 프레임을 모두 동일하게 제 1 샘플링 프레임 그룹(SFG1)으로 설정할 수 았다.
이러한 경우에는, 처리해야할 데이터의 양을 대폭 줄일 수 있다.
프레임 샘플링 단계(S400) 이후에 샘플링한 프레임에 대응하는 영상 신호를 제 2 와핑(S500)할 수 있다.
제 2 와핑에 대해 첨부된 도 12를 참조하여 보다 상세히 설명하면 아래와 같다.
제 2 와핑은 제 1 와핑단계(S300)에서 판별한 이상점을 제외하고 샘플링 프레임을 와핑할 수 있다.
자세하게는, 도 12와 같이, 제 2 와핑은 수학식 4에 의해 연산되는 에너지와 수학식 5에 의해 연산되는 에너지 및 수학식 6에 의해 연산되는 에너지의 합(수학식 7)이 최소가 되는 방향으로 수행할 수 있다.
수학식 4, 5, 6, 7에 대해 보다 상세히 살펴보면 아래와 같다. 이하에서는 이상에서 설명한 수학식 1, 2, 3에서 설명한 부분에 대한 설명은 생략될 수 있다.
수학식 4는 프레임간(Interframe)의 일관성(Coherency)에 대한 에너지 함수를 의미할 수 있다.
수학식 4를 통해 대응하는 화면점간의 매칭을 확인할 수 있다.
수학식 5는 오리지널 정보(Original Content)의 변형을 방지하기 위한 에너지 함수를 의미할 수 있다.
수학식 4를 통해 대응하는 화면점간의 매칭을 확인할 수 있다.
수학식 6은 시간적인 일관성(Temporal Consistency)에 대한 에너지 함수를 의미할 수 있다.
수학식 7은 수학식 4에 의해 계산된 에너지, 수학식 5에 의해 계산된 에너지 및 수학식 6에 의해 계산된 에너지의 합을 의미할 수 있다.
수학식 7에서 λi는 프레임간 평탄도 가중치(Smoothness Weight of Interframe)를 의미하고, λc는 시간상 평탄도 가중치(Smoothness Weight of Temporal)를 의미하고, λtf는 타깃 프레임의 제한 가중치(Target Frame Constraint Weight)를 의미할 수 있다.
이러한 수학식 7에 의해 계산되는 에너지가 최소가 되는 방향으로 제 2 와핑을 수행할 수 있다.
아울러, 제 2 와핑은 각각의 타깃 프레임(TF)에 대해 반복적으로 수행될 수 있다.
제 2 와핑에 의해 주변뷰 영상을 생성할 수 있다. 다르게 표현하면, 샘플링된 프레임에 대해 이상점을 제외하여 제 2 와핑하여 제 1 영역 주변의 제 2 영역에 대응하는 주변뷰 영상 신호를 생성할 수 있다.
이상에서 설명한 바와 같이, 수학식 7에 의한 에너지가 최소가 되는 방향으로 제 2 와핑을 수행하게 되면 주변부 영상의 프레임간(Interframe) 및 시간상(Temporal) 에러(왜곡)의 발생을 억제할 수 있다.
예를 들면, 도 13의 (A)와 수학식 7에 따르지 않는 와핑 방법을 사용하게 되면, 메인뷰(MV) 영상 주변의 주변뷰(PV) 영상에 프레임간 왜곡이 발생할 수 있다.
반면에, 도 13의 (B)와 같이 수학식 7에 따르는 와핑 방법을 사용하게 되면 주변뷰(PV) 영상에 프레임간 왜곡이 발생하는 것을 억제할 수 있다.
와핑단계에서는 이상점을 제외하고 와핑하게 되면 주변뷰 영상의 왜곡을 억제하는 것이 가능할 수 있다. 이에 대해, 도 14 및 도 15를 참조하여 살펴보면 아래와 같다.
도 14의 (A)에는 이상점(Outlier)과 정상점(Inlier)이 표시되어 있다,
이상점은 붉은색 점으로 표시하고, 정상점은 초록색 점으로 표시하였다. 여기서, 이상점은 영상의 왜곡을 발생시킬 가능성이 상대적으로 높은 부분에 대응되고, 정상점은 이상점에 비해 영상의 왜곡을 발생시킬 가능성이 상대적으로 낮은 부분에 대응될 수 있다.
이상점을 제외하지 않고 제 2 와핑을 수행하고, 그에 대한 결과로서 주변뷰 영상을 생성하게 되면, 도 14의 (B)에서 보라색 박스로 표시한 부분과 같이 주변뷰 영상에 왜곡이 발생할 수 있다.
반면에, 도 15의 (A)와 같이, 이상점을 제외한 상태에서 제 2 와핑을 수행하게 되면, 도 15의 (B)와 같이, 주변뷰 영상에서의 왜곡을 억제할 수 있다.
도 15의 (A)를 도 14의 (A)와 비교하면, 화면상에서 붉은색 점이 사라진(제어된) 것을 확인할 수 있다.
샘플링된 프레임을 이상점을 제외하고 제 2 와핑한 이후에 제 2 와핑에 의해 생성된 주변뷰 영상을 메인뷰 영상에 융합(S600)할 수 있다. 다르게 표현하면, 주변뷰 영상 신호를 메인뷰 영상 신호에 융합(Blending)할 수 있다.
이러한, 융합단계에서는 타깃 프레임(TF)에 대응하여 메인뷰 영상에 근접한 순서로 주변뷰 영상 신호를 메인뷰 영상 신호에 융합할 수 있다.
예를 들면, 도 16의 (A), (B), (C)와 같이, 메인뷰(MV) 영상에 가장 근접한 제 1 주변뷰(PV1) 영상을 융합하고, 이후 제 1 주변뷰(PV1) 영상에 제 2 주변뷰(PV2) 영상을 융합하고, 이후 제 2 주변뷰(PV2) 영상에 제 3 주변뷰(PV3) 영상을 융합하는 것이 가능할 수 있다.
한편, 복수의 방향으로 방향으로 메인뷰 영상에 주변뷰 영상을 융합하는 것이 가능할 수 있다.
예를 들면, 도 17의 경우와 같이, 타깃 프레임에 대응하여 타깃 프레임의 좌측방향으로 주변뷰 영상을 융합하고, 아울러 타깃 프레임의 우측방향으로 주변뷰 영상을 융합하는 것이 가능할 수 있다.
도 18에는 본 발명에 따른 방법에 따라 주변뷰 영상을 생성하고, 생성한 주변뷰 영상을 메인뷰 영상에 융합하여 표시하는 일례가 게시되어 있다.
도 18의 (A)는 구동부(14)로 입력되는 영상 신호에 대응되는 영상으로서 메인뷰 영상일 수 있다.
도 18의 (B)는 구동부(14)가 본 발명의 방법에 따라 주변뷰 영상(PVL, PVR)을 생성하고, 이를 메인뷰 영상에 융합한 영상일 수 있다. 이러한 영상을 몰입형 영상(Immersive Video)이라고 할 수 있다.
본 발명에서는 메인뷰에 대응하는 영상신호를 근거로 하여 주변뷰에 대응하는 영상신호를 생성하기 때문에 메인뷰 영상 신호에 대응하는 해상도와 주변뷰 영상 신호에 대응하는 해상도는 동일할 수 있다. 이에 따라, 몰입형 영상의 품질을 향상시킬 수 있다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (20)
- 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리(Preprocessing) 단계;
상기 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑(Prewarping) 단계;
상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링 단계;
상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 제 1 영역 주변의 제 2 영역(Second Area)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑 단계; 및
상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합단계;
를 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 1 항에 있어서,
상기 영상-공간 정보는 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 2 항에 있어서,
상기 주변 프레임과 상기 타깃 프레임은 동일한 샷(Shot)에 포함되는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 3 항에 있어서,
동일한 샷에 포함되는 프레임 그룹(Frame Group)의 모든 타깃 프레임에 대응하여 샘플링되는 프레임은 동일한 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 4 항에 있어서,
상기 프레임 그룹에 포함된 각각의 프레임은 타깃 프레임인 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 2 항에 있어서,
상기 타깃 프레임 상의 제 1 화면점(First Scene Point)에 대응하는 상기 주변 프레임 상의 화면점을 제 2 화면점(Second Scene Point)이라 하고,
상기 제 2 화면점을 제 1 와핑한 화면점을 제 2 와핑 화면점(Second Warping Scene Point)이라 할 때,
상기 선와핑 단계에서는
상기 제 1 화면점과 상기 제 2 와핑 화면점 사이의 거리(Distance)가 미리 설정된 기준거리보다 큰 경우에 상기 제 2 화면점을 이상점으로 설정하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 1 항에 있어서,
상기 샘플링된 프레임은 상기 타깃 프레임과 중첩(Overlap)되지 않는 부분을 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 1 항에 있어서,
상기 융합단계에서는
상기 타깃 프레임에 대응하여 상기 메인뷰 영상에 근접한 순서로 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 제 1 항에 있어서,
상기 메인뷰 영상 신호에 대응하는 해상도와 상기 주변뷰 영상 신호에 대응하는 해상도는 동일한 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 방법. - 영상을 표시하기 위한 디스플레이부(Display Part);
상기 디스플레이부의 제 1 영역(First Area)에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리부(Preprocessing Part);
상기 선처리부가 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑부(Prewarping Part);
상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링부(Sampling Part);
상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 디스플레이부의 상기 제 1 영역 주변의 제 2 영역(Second Area)에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑부(Warping Part); 및
상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합부(Blending Part);
를 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 10 항에 있어서,
상기 영상-공간 정보는 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 11 항에 있어서,
상기 주변 프레임과 상기 타깃 프레임은 동일한 샷(Shot)에 포함되는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 12 항에 있어서,
동일한 샷에 포함되는 복수의 프레임을 포함하는 프레임 그룹(Frame Group)의 모든 타깃 프레임에 대응하여 샘플링되는 프레임은 동일한 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 13 항에 있어서,
상기 프레임 그룹에 포함된 각각의 프레임은 타깃 프레임인 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 11 항에 있어서,
상기 타깃 프레임 상의 제 1 화면점(First Scene Point)에 대응하는 상기 주변 프레임 상의 화면점을 제 2 화면점(Second Scene Point)이라 하고,
상기 제 2 화면점을 제 1 와핑한 화면점을 제 2 와핑 화면점(Second Warping Scene Point)이라 할 때,
상기 선와핑부는
상기 제 1 화면점과 상기 제 2 와핑 화면점 사이의 거리(Distance)가 미리 설정된 기준거리보다 큰 경우에 상기 제 2 화면점을 이상점으로 설정하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 10 항에 있어서,
상기 샘플링된 프레임은 상기 타깃 프레임과 중첩(Overlap)되지 않는 부분을 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 10 항에 있어서,
상기 융합부는
상기 타깃 프레임에 대응하여 상기 메인뷰 영상에 근접한 순서로 상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 10 항에 있어서,
상기 메인뷰 영상 신호에 대응하는 해상도와 상기 주변뷰 영상 신호에 대응하는 해상도는 동일한 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 1 표시 영역(First Display Area)을 포함하는 제 1 디스플레이부(First Display Part);
제 2 표시 영역(Second Display Area)을 포함하는 제 2 디스플레이부(Second Display Part);
상기 제 1 디스플레이부에 대응하는 메인뷰 영상 신호(Main-View Video Signal)에서 영상-공간 정보(Scene-Space Information)를 획득하는 선처리부(Preprocessing Part);
상기 선처리부가 선처리한 영상 신호에 포함되는 타깃 프레임(Target Frame)에 대응하는 적어도 하나의 주변 프레임(Neighborhood Frame)을 제 1 와핑(First Warping)하고, 상기 제 1 와핑에 대한 결과로부터 이상점(Outlier)을 판별하는 선와핑부(Prewarping Part);
상기 제 1 와핑에 대한 결과로부터 외삽(Extrapolation)에 사용할 적어도 하나의 주변 프레임을 샘플링(Sampling)하는 샘플링부(Sampling Part);
상기 샘플링된 프레임에 대해 상기 이상점을 제외하여 제 2 와핑(Second Warping)하여 상기 제 2 디스플레이부에 대응하는 주변뷰 영상 신호(Peripheral-View Video Signal)를 생성하는 와핑부(Warping Part); 및
상기 주변뷰 영상 신호를 상기 메인뷰 영상 신호에 융합(Blending)하는 융합부(Blending Part);
를 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치. - 제 19 항에 있어서,
상기 영상-공간 정보는 화면점(Scene Point) 정보와 카메라 파라메터(Camera Parameter) 정보를 포함하는 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170041918A KR101760639B1 (ko) | 2017-03-31 | 2017-03-31 | 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법 |
| US15/648,030 US10586306B2 (en) | 2017-03-31 | 2017-07-12 | Immersive display apparatus and method for creation of peripheral view corresponding to input video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170041918A KR101760639B1 (ko) | 2017-03-31 | 2017-03-31 | 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101760639B1 true KR101760639B1 (ko) | 2017-07-24 |
Family
ID=59428992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170041918A KR101760639B1 (ko) | 2017-03-31 | 2017-03-31 | 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10586306B2 (ko) |
| KR (1) | KR101760639B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492724A (zh) * | 2018-02-05 | 2018-09-04 | 中国科学院长春光学精密机械与物理研究所 | 一种适应视觉特性的沉浸式显示装置及vr设备 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020232281A1 (en) * | 2019-05-14 | 2020-11-19 | Intel Corporation | IMMERSIVE VIDEO CODING TECHNIQUES FOR THREE DEGREE OF FREEDOM PLUS/METADATA FOR IMMERSIVE VIDEO (3DoF+/MIV) AND VIDEO-POINT CLOUD CODING (V-PCC) |
| US11153539B2 (en) * | 2019-06-20 | 2021-10-19 | Google Llc | Methods and systems to pre-warp and image |
| US11432009B2 (en) * | 2019-07-02 | 2022-08-30 | Intel Corporation | Techniques for encoding and decoding immersive video |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014509759A (ja) | 2011-03-02 | 2014-04-21 | マイクロソフト コーポレーション | 没入型ディスプレイエクスペリエンス |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11205648A (ja) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | 画像合成装置 |
| US8913657B2 (en) * | 2008-10-27 | 2014-12-16 | Lg Electronics Inc. | Virtual view image synthesis method and apparatus |
| US8958659B2 (en) * | 2011-12-24 | 2015-02-17 | Ecole De Technologie Superieure | Image registration method and system robust to noise |
| JP2013228896A (ja) * | 2012-04-26 | 2013-11-07 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| KR101370718B1 (ko) * | 2012-10-26 | 2014-03-06 | 한국과학기술원 | 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치 |
| KR20150038954A (ko) | 2013-10-01 | 2015-04-09 | 엘지디스플레이 주식회사 | 입체 영상 표시장치의 이미지 처리 장치 및 방법 |
| JP6463048B2 (ja) * | 2014-09-05 | 2019-01-30 | キヤノン株式会社 | 画像処理装置及び画像処理装置の作動方法 |
| KR102380862B1 (ko) | 2015-09-01 | 2022-03-31 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| WO2017145149A1 (en) * | 2016-02-24 | 2017-08-31 | Project Ray Ltd. | System and method for automatic remote assembly of partially overlapping images |
-
2017
- 2017-03-31 KR KR1020170041918A patent/KR101760639B1/ko active IP Right Grant
- 2017-07-12 US US15/648,030 patent/US10586306B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014509759A (ja) | 2011-03-02 | 2014-04-21 | マイクロソフト コーポレーション | 没入型ディスプレイエクスペリエンス |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492724A (zh) * | 2018-02-05 | 2018-09-04 | 中国科学院长春光学精密机械与物理研究所 | 一种适应视觉特性的沉浸式显示装置及vr设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10586306B2 (en) | 2020-03-10 |
| US20180286013A1 (en) | 2018-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101760639B1 (ko) | 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법 | |
| KR102003015B1 (ko) | 광류를 사용한 중간 뷰의 생성 | |
| US9787905B2 (en) | Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area | |
| US8976229B2 (en) | Analysis of 3D video | |
| JP5795324B2 (ja) | 光フィールドデータを利用した映像処理装置及び方法 | |
| JP4658223B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
| JP2012248183A (ja) | ３ｄ表面形状をキャプチャーするための方法およびシステム | |
| JP5225313B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
| US20200007760A1 (en) | Imaging apparatus and imaging method, and image processing apparatus and image processing method | |
| CN111212219B (zh) | 使用虚拟相机生成多面图像的方法和系统 | |
| US11416978B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
| CN111369660A (zh) | 一种三维模型的无接缝纹理映射方法 | |
| TW201806378A (zh) | 資訊處理裝置、資訊處理方法及程式 | |
| Bonnard et al. | High-dynamic range video acquisition with a multiview camera | |
| US20180322671A1 (en) | Method and apparatus for visualizing a ball trajectory | |
| US20120257816A1 (en) | Analysis of 3d video | |
| JP2007053621A (ja) | 画像生成装置 | |
| CN114119424A (zh) | 一种基于光流法和多视角场景的视频修复方法 | |
| TWI530189B (zh) | Image processing device and interpolation frame generation method | |
| JP6772000B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US11830177B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
| Ding et al. | Video Frame Interpolation with Stereo Event and Intensity Cameras | |
| JP6529345B2 (ja) | 画像合成装置及び画像合成方法 | |
| Jiang et al. | An Improved Novel View Synthesis Approach Based on Feature Fusion and Channel Attention | |
| CN112565623A (zh) | 一种动态图像显示系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |