KR101647408B1 - 영상 처리 장치 및 방법 - Google Patents
영상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR101647408B1 KR101647408B1 KR1020100010096A KR20100010096A KR101647408B1 KR 101647408 B1 KR101647408 B1 KR 101647408B1 KR 1020100010096 A KR1020100010096 A KR 1020100010096A KR 20100010096 A KR20100010096 A KR 20100010096A KR 101647408 B1 KR101647408 B1 KR 101647408B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- original
- processed
- resolution
- unit
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000009877 rendering Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
Abstract
영상 처리 장치 및 방법을 개시한다. 영상 처리 장치는 중앙 시점의 중앙 영상을 원본 해상도로 결정하여 하나의 프레임을 구성하고, 좌시점 및 우시점의 좌영상 및 우영상을 조합하여 하나의 프레임으로 구성하는 3차원 영상 데이터를 생성하여, 영상의 인코딩, 디코딩, 및 랜더링을 처리한다.
Description
본 발명의 실시예들은 영상 처리 장치 및 방법에 관한 것으로, 원본 해상도의 중앙 영상과 가공된 좌영상/우영상을 포함하는 3차원 영상 데이터를 이용하여 영상을 처리하는 기술과 관련된 것이다.
3D 영상 데이터는 복수 개의 시점에 대해 촬영한 비디오 데이터와 피사체의 카메라로부터 거리를 나타내는 깊이 데이터를 포함할 수 있으며, 상기 3D 영상 데이터는 일정한 형식의 포맷으로 변환 및 저장될 수 있다. 이러한 3D 영상 데이터는 압축 및 전송을 통해 사용자에게 송신되고, 수신단에서는 사용자의 목적에 따라 또는 디스플레이의 종류에 따라 2D 영상, Stereo 방식 3D 영상, 및 multi-view 영상 중 하나로 재생될 수 있다.
따라서, 기존의 방송 인프라를 사용하고, 해상도의 손실없이 2D 영상, Stereo 방식 3D 영상, 및 multi-view 영상 중 하나를 재생할 수 있는 장치 및 방법에 대한 연구가 필요하다.
본 발명의 일실시예에 따른 영상 처리 장치는, 원본 좌영상, 원본 중앙 영상, 및 원본 우영상을 입력받는 영상 입력부, 상기 원본 좌영상 및 상기 원본 우영상을 가공하여 가공 좌영상 및 가공 우영상을 생성하는 영상 가공부 및 상기 원본 중앙 영상으로 구성되는 제1 프레임 영상과 상기 가공 좌영상 및 상기 가공 우영상으로 구성되는 제2 프레임 영상을 포함하는 3차원 영상 데이터를 생성하는 영상 생성부를 포함할 수 있다.
이때, 상기 영상 가공부는, 상기 원본 좌영상 및 상기 원본 우영상 각각의 세로 해상도를 반으로 줄인 각각의 영상을 상기 가공 좌영상 및 상기 가공 우영상으로 생성할 수 있다.
또한, 상기 3차원 영상 데이터는, 각 시점 영상에 대응하는 깊이 영상 데이터, 분할(segmentation) 정보, 및 투명도(transparency) 정보 중 적어도 하나를 포함하는 보조 데이터와 카메라 파라미터 정보, 깊이 범위(depth range) 정보 중 적어도 하나를 포함하는 메타 데이터를 더 포함할 수 있다.
또한, 상기 3차원 영상 데이터는, 상기 원본 좌영상 및 상기 원본 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 가공한 이력정보를 포함하는 필터 정보를 더 포함할 수 있다.
또한, 2D 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 중앙 영상에 2D 영상 데이터를 추가하고, 스테레오 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 좌영상 및 상기 원본 우영상에 스테레오 영상 데이터를 추가하고, 멀티뷰 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 중앙 영상, 상기 원본 좌영상, 및 상기 원본 우영상에 멀티뷰 영상 데이터를 추가하는 영상 추가부를 더 포함 할 수 있다.
또한, 상기 3차원 영상 데이터를 인코딩하는 인코딩부를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따른 영상 처리 장치는, 인코딩된 영상으로부터 제1 프레임 영상 및 제2 프레임 영상을 분리하는 영상 분리부, 출력 모드를 선택하는 모드 선택부, 상기 선택된 출력 모드가 2D 출력 모드인 경우, 상기 제1 프레임 영상을 디코딩하여 2D 영상을 출력하는 2D 출력부, 상기 선택된 출력 모드가 스테레오 출력 모드인 경우, 상기 제2 프레임 영상을 디코딩하여 스테레오 영상을 출력하는 스테레오 출력부 및 상기 선택된 출력 모드가 멀티뷰 출력 모드인 경우, 상기 제1 프레임 영상 및 상기 제2 프레임 영상을 디코딩하고, 하나 이상의 새로운 시점 영상을 생성하여 멀티뷰 영상을 출력하는 멀티뷰 출력부를 포함하고, 상기 제1 프레임 영상은 원본 중앙 영상으로 구성되고, 상기 제2 프레임 영상은 원본 좌영상 및 원본 우영상을 가공한 가공 좌영상 및 가공 우영상으로 구성될 수 있다.
이때, 상기 가공 좌영상은 상기 원본 좌영상의 세로 해상도를 반으로 줄인 영상이고, 상기 가공 우영상은 상기 원본 우영상의 세로 해상도를 반으로 줄인 영상일 수 있다.
또한, 상기 멀티뷰 출력부는, 상기 제1 프레임 영상 및 상기 제2 프레임 영상을 디코딩하는 멀티뷰 디코딩부 및 상기 하나 이상의 새로운 시점 영상을 생성하는 영상 생성부를 포함하고, 상기 영상 생성부는, 상기 가공 좌영상 및 상기 가공 우영상 중 선택된 하나의 영상을 제1 영상으로 결정하는 영상 선택부, 상기 제1 영상 및 상기 원본 중앙 영상을 3D 워핑하는 워핑부 및 상기 워핑된 원본 중앙 영상의 홀을 보충하기 위해 영상을 합성하는 영상 합성부를 포함할 수 있다.
또한, 상기 영상 합성부는, 상기 워핑된 제1 영상을 보간(interpolation)하여 원본 해상도를 복원하는 영상 보간부를 포함하고, 상기 보간된 제1 영상을 상기 워핑된 원본 중앙 영상과 합성(blending)하여 새로운 시점 영상을 생성할 수 있다.
또한, 상기 영상 보간부는, 상기 원본 좌영상 또는 상기 원본 우영상을 가공한 이력정보를 포함하는 필터 정보를 이용하여 상기 제1 영상을 보간할 수 있다.
본 발명의 다른 일실시예에 따른 영상 처리 장치는, 제1 해상도의 제1 시점 영상 및 제2 해상도의 제2 시점 영상을 3D 워핑하는 워핑부, 상기 워핑된 제2 시점 영상을 가공하여 보충 영상을 생성하는 영상 가공부 및 상기 워핑된 제1 시점 영상과 상기 보충 영상을 합성하여 새로운 시점 영상을 생성하는 영상 합성부를 포함할 수 있다.
본 발명의 다른 일실시예에 따른 영상 처리 방법은, 원본 좌영상, 원본 중앙 영상, 및 원본 우영상을 입력받는 단계, 상기 원본 좌영상 및 상기 원본 우영상을 가공하여 가공 좌영상 및 가공 우영상을 생성하는 단계 및 상기 원본 중앙 영상으로 구성되는 제1 프레임 영상과 상기 가공 좌영상 및 상기 가공 우영상으로 구성되는 제2 프레임 영상을 포함하는 3차원 영상 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 원본 중앙 영상을 하나의 프레임으로 구성하고, 가공된 좌영상 및 우영상을 하나의 프레임으로 구성하는 3차원 영상 데이터를 이용하여 영상을 처리함으로써, 최소한의 데이터량을 사용하여 고품질의 영상을 처리하는 영상처리 장치 및 방법이 제공될 수 있다.
본 발명의 일실시예에 따르면, 원본 해상도를 유지한 영상 데이터를 사용하여 영상을 처리함으로써, 해상도 손실이 없는 출력 영상을 구현할 수 있다.
본 발명의 일실시예에 따르면, 2D 영상, 스테레오 영상, 및 멀티뷰 영상 중 하나를 선택적으로 재생할 수 있도록 하는 3차원 영상 데이터를 생성하여 영상을 처리함으로써, 기존의 인프라 변경없이 효율적으로 영상을 처리하는 장치 및 방법이 제공될 수 있다.
도 1은 본 발명의 일실시예에 따라, 3차원 영상 데이터를 생성하기 위한 영상 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따라, 인터레이싱을 이용하여 3차원 영상 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라, top/bottom 방식을 이용하여 3차원 영상 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라, 다양한 데이터를 추가하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 일실시예에 따른 3차원 영상 데이터를 디코딩하여 출력하기 위한 영상 처리 장치를 나타내는 블록도이다.
도 6은 본 발명의 다른 일실시예에 따라, 멀티뷰 영상을 재생하기 위해, 새로운 시점 영상을 생성하는 영상 처리 장치를 나타내는 블록도이다.
도 7은 본 발명의 일실시예에 따른 3차원 영상 데이터를 이용하여 새로운 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른, 3차원 영상 데이터를 생성하기 위한 영상 처리 방법을 설명하기 위한 동작흐름도이다.
도 2는 본 발명의 일실시예에 따라, 인터레이싱을 이용하여 3차원 영상 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라, top/bottom 방식을 이용하여 3차원 영상 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라, 다양한 데이터를 추가하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 일실시예에 따른 3차원 영상 데이터를 디코딩하여 출력하기 위한 영상 처리 장치를 나타내는 블록도이다.
도 6은 본 발명의 다른 일실시예에 따라, 멀티뷰 영상을 재생하기 위해, 새로운 시점 영상을 생성하는 영상 처리 장치를 나타내는 블록도이다.
도 7은 본 발명의 일실시예에 따른 3차원 영상 데이터를 이용하여 새로운 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른, 3차원 영상 데이터를 생성하기 위한 영상 처리 방법을 설명하기 위한 동작흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따라, 3차원 영상 데이터를 생성하기 위한 영상 처리 장치를 나타내는 블록도이다.
도 1을 참고하면, 3차원 영상 데이터를 생성하기 위한 영상 처리 장치(100)는 영상 입력부(110), 영상 가공부(120), 및 영상 생성부(130)를 포함할 수 있다.
영상 입력부(110)는 원본 좌영상, 원본 중앙 영상, 및 원본 우영상을 입력받을 수 있다. 여기서, 원본 중앙 영상은 중앙 시점에서 촬영한 원본 영상을 의미하고, 원본 좌영상은 상기 중앙 시점을 기준으로 좌시점에서 촬영한 원본 영상을 의미하고, 원본 우영상은 상기 중앙 시점을 기준으로 우시점에서 촬영한 원본 영상을 의미한다.
영상 가공부(120)는 원본 좌영상 및 원본 우영상을 가공하여 가공 좌영상 및 가공 우영상을 생성할 수 있다. 즉, 원본 좌영상 및 원본 우영상을 그대로 사용하지 않고, 변환하여 사용할 수 있다. 예를 들면, 원본 좌영상 및 원본 우영상의 해상도를 줄이는 변환을 수행하여 가공 좌영상 및 가공 우영상을 생성할 수 있으며, 가공 좌영상 및 가공 우영상이 갖는 해상도는 원본 좌영상 및 원본 우영상이 갖는 해상도의 1/2 해상도일 수 있다.
이때, 원본 좌영상 및 원본 우영상의 해상도를 줄이기 위해, 상기 원본 좌영상 및 상기 원본 우영상을 각각 인터레이싱(interlacing)하여 홀수 라인만을 포함하는 홀수 영상 및 짝수 라인만을 포함하는 짝수 영상을 생성하고, 상기 홀수 영상 및 상기 짝수 영상을 상기 가공 좌영상 및 상기 가공 우영상으로 결정할 수 있다.
또한, 원본 좌영상 및 원본 우영상의 해상도를 줄이기 위해, 상기 원본 좌영상 및 상기 원본 우영상을 각각 체크보드 형태로 배열하여 상기 원본 좌영상의 1/2 해상도를 갖는 체크보드 좌영상 및 상기 원본 우영상의 1/2 해상도를 갖는 체크보드 우영상을 생성하고, 상기 체크보드 좌영상 및 상기 체크보드 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 결정할 수 있다.
또한, 원본 좌영상 및 원본 우영상의 해상도를 줄이기 위해, 상기 원본 좌영상 및 상기 원본 우영상의 세로 해상도를 줄여 가공 좌영상 및 가공 우영상을 생성하고, 상기 생성된 가공 좌영상 및 가공 우영상을 상하로 배열하는 top/down 방식, 상기 생성된 가공 좌영상 및 가공 우영상을 좌우로 배열하는 side by side 방식 등 다양한 방식을 통해 가공 좌영상 및 가공 우영상을 생성할 수 있다.
여기서, 가공 좌영상 및 가공 우영상을 생성하는 일예를 도 2 및 도 3을 참고하여 이하에서 더욱 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따라, 인터레이싱을 이용하여 3차원 영상 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 2를 참고하면, 원본 좌영상 및 원본 우영상을 각각 인터레이싱하여 짝수 영상(220) 및 홀수 영상(230)을 생성할 수 있다. 즉, 원본 좌영상을 인터레이싱한 영상 중 짝수 영상 또는 홀수 영상을 가공 좌영상으로 선택하고, 원본 우영상을 인터레이싱한 영상 중 짝수 영상 또는 홀수 영상을 가공 우영상으로 선택할 수 있다. 이때, 원본 좌영상을 인터레이싱한 영상 중 짝수 영상을 가공 좌영상으로 선택하였다면, 원본 우영상을 인터레이싱한 영상 중 홀수 영상을 가공 우영상으로 선택할 수 있다. 즉, 가공 우영상과 가공 좌영상 중 하나가 짝수 영상이면 나머지 하나는 홀수 영상으로 선택하도록 할 수 있다.
도 3은 본 발명의 일실시예에 따라, top/bottom 방식을 이용하여 3차원 영상 데이터를 생성하는 과정을 설명하기 위한 도면이다.
도 3을 참고하면, 원본 좌영상 및 원본 우영상의 해상도를 각각 1/2로 줄여 top 영상(320) 및 bottom 영상(330)을 생성할 수 있다. 즉, 원본 좌영상의 해상도를 1/2로 줄인 영상을 가공 좌영상으로 선택하고, 원본 우영상의 해상도를 1/2로 줄인 영상을 가공 우영상으로 선택할 수 있다. 여기서 선택된 상기 가공 좌영상 또는 상기 가공 우영상은 top 영상 또는 bottom 영상으로 결정되어 하나의 프레임으로 구성될 수 있다.
다시 도 1을 참고하면, 영상 생성부(130)는 상기 가공 좌영상 및 가공 우영상으로 구성되는 하나의 프레임 및 원본 중앙 영상으로 구성되는 하나의 프레임을 생성하고, 상기 생성된 두 개의 프레임을 포함하는 3차원 영상 데이터를 생성할 수 있다.
여기서, 상기 3차원 영상 데이터는, 상기 생성된 두 개의 프레임 데이터 이외에도 보조 데이터 및 메타 데이터를 더 포함할 수 있다. 이때, 상기 보조 데이터는 각 시점 영상에 대응하는 깊이 영상 데이터, 분할(segmentation) 정보, 및 투명도(transparency) 정보 중 적어도 하나를 포함할 수 있고, 상기 메타 데이터는 카메라 파라미터, 깊이 범위(depth range) 중 적어도 하나를 포함할 수 있다.
또한, 상기 3차원 영상 데이터는, 상기 원본 좌영상 및 상기 원본 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 가공한 이력정보를 포함하는 필터 정보를 더 포함할 수 있다. 예를 들어, 원본 좌영상 및 원본 우영상의 해상도를 변경시킨 가공 좌영상 및 가공 우영상의 해상도 변경 이력을 포함하는 필터 정보를 상기 3차원 영상 데이터에 포함하여, 디코딩 과정에서 원본 해상도를 손쉽게 복원하도록 할 수 있다.
또한, 영상 처리 장치(100)는 2D 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 중앙 영상에 2D 영상 데이터를 추가하고, 스테레오 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 좌영상 및 상기 원본 우영상에 스테레오 영상 데이터를 추가하고, 멀티뷰 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 중앙 영상, 상기 원본 좌영상, 및 상기 원본 우영상에 멀티뷰 영상 데이터를 추가하는 영상추가부(150)를 더 포함할 수 있다. 즉, 영상 출력 도중 모드가 다른 영상을 추가하거나 편집하여 재생할 수 있고, 이는 도 4를 참고하여 이하에서 더욱 상세하게 설명한다.
도 4는 본 발명의 일실시예에 따라, 다양한 데이터를 추가하는 과정을 설명하기 위한 도면이다.
도 4를 참고하면, 멀티뷰의 3D 영상 출력 중에 2D 광고를 추가하고자 하는 경우, 좌영상 및 우영상의 추가 없이 중앙 영상(410)만 추가함으로써, 2D 광고를 추가, 재생할 수 있다. 또한, 멀티뷰의 3D 영상 출력 중에 스테레오 광고를 추가하고자 하는 경우, 좌영상(421) 및 우영상(422)만을 추가하고 중앙 영상은 null 영상을 추가함으로써, 스테레오 광고를 추가, 재생할 수 있다. 또한, 멀티뷰의 3D 영상 출력 중 멀티뷰 광고를 추가하고자 하는 경우는, 중앙 영상(432), 좌영상(431), 및 우영상(433)을 모두 추가함으로써, 멀티뷰 광고를 추가, 재생할 수 있다.
다시 도 1을 참고하면, 영상 처리 장치(100)는 3차원 영상 데이터를 인코딩하는 인코딩부(140)를 더 포함할 수 있다.
상기와 같이, 원본 중앙 영상을 하나의 프레임으로 구성하고, 가공된 좌영상 및 우영상을 하나의 프레임으로 구성하는 3차원 영상 데이터를 이용하여 영상을 처리함으로써, 최소한의 데이터량을 사용하여 고품질의 영상을 처리할 수 있다.
도 5는 본 발명의 다른 일실시예에 따른 3차원 영상 데이터를 디코딩하여 출력하기 위한 영상 처리 장치를 나타내는 블록도이다.
도 5를 참고하면, 3차원 영상 데이터를 디코딩하여 출력하기 위한 영상 처리 장치(500)는 영상 분리부(510), 모드 선택부(520), 2D 출력부(530), 스테레오 출력부(540), 및 멀티뷰 출력부(550)를 포함할 수 있다.
영상 분리부(510)는 인코딩된 영상으로부터 제1 프레임 영상 및 제2 프레임 영상을 분리할 수 있다. 여기서, 상기 제1 프레임 영상은 원본 중앙 영상으로 구성되고, 상기 제2 프레임 영상은 원본 좌영상 및 원본 우영상을 가공한 가공 좌영상 및 가공 우영상으로 구성될 수 있다. 이때, 상기 가공 좌영상은 상기 원본 좌영상의 세로 해상도를 반으로 줄인 영상이고, 상기 가공 우영상은 상기 원본 우영상의 세로 해상도를 반으로 줄인 영상일 수 있다. 또한, 도 1에서 언급한 것과 마찬가지로, 상기 가공 좌영상 및 상기 가공 우영상은, 원본 좌영상 및 원본 우영상을 인터레이싱하여 생성할 수 있고, 원본 좌영상 및 원본 우영상을 체크보드 형태로 배열하여 생성할 수도 있다. 또한, 상기 가공 좌영상 및 상기 가공 우영상은, 원본 좌영상 및 원본 우영상의 세로 해상도를 반으로 줄여 생성될 수 있으며, 상기 생성된 가공 좌영상 및 상기 가공 우영상은 하나의 프레임 내에 top/down 방식, side by side 방식 등 다양한 방식으로 배열될 수 있다.
모드 선택부(520)는 다양한 모드의 영상을 출력할 수 있는 영상 출력 기기 등에 있어서, 영상 출력을 위한 출력 모드를 선택할 수 있다. 예를 들어, 다양한 출력 모드는 2D 출력 모드, 스테레오 출력 모드, 멀티뷰 출력 모드 등을 포함할 수 있다.
2D 출력부(530)는 선택된 출력 모드가 2D 출력 모드인 경우, 상기 제1 프레임 영상을 디코딩하여 2D 영상을 출력할 수 있다. 즉, 2D 영상 출력 모드의 경우, 중앙 영상만을 출력하여 2D 영상을 구현할 수 있으므로, 상기 중앙 영상을 포함하는 제1 프레임 영상을 디코딩하여 2D 영상을 출력할 수 있다.
스테레오 출력부(540) 선택된 출력 모드가 스테레오 출력 모드인 경우, 상기 제2 프레임 영상을 디코딩하여 스테레오 영상을 출력할 수 있다. 즉, 스테레오 영상 출력 모드의 경우, 좌영상 및 우영상만을 출력하여 스테레오 영상을 구현할 수 있으므로, 좌영상 및 우영상을 포함하는 제2 프레임 영상을 디코딩하여 스테레오 영상을 출력할 수 있다.
멀티뷰 출력부(550)는 선택된 출력 모드가 멀티뷰 출력 모드인 경우, 상기 제1 프레임 영상 및 상기 제2 프레임 영상을 디코딩하고, 하나 이상의 새로운 시점 영상을 생성하여 멀티뷰 영상을 출력할 수 있다. 즉, 멀티뷰 영상 출력 모드의 경우, 중앙 영상, 좌영상 및 우영상을 출력하여 멀티뷰 영상을 구현할 수 있으므로, 중앙 영상을 포함하는 제1 프레임 영상, 좌영상 및 우영상을 포함하는 제2 프레임 영상을 디코딩하여 멀티뷰 영상을 출력할 수 있다.
여기서, 멀티뷰 출력부(550)는 상기 제1 프레임 영상 및 상기 제2 프레임 영상을 디코딩하는 멀티뷰 디코딩부(551) 및 하나 이상의 새로운 시점 영상을 생성영상 생성부(552)를 포함할 수 있고, 영상 생성부(552)는, 영상 선택부(553), 워핑부(554), 및 영상 합성부(555)를 포함할 수 있다.
영상 선택부(553)는 새로운 시점 영상을 생성하기 위해 가공 좌영상 및 가공 우영상 중 선택된 하나의 영상을 제1 영상으로 결정할 수 있다. 즉, 가공 좌영상과 원본 중앙 영상 사이에 새로운 시점 영상을 생성하고자 하는 경우는, 상기 가공 좌영상을 선택하여 제1 영상으로 결정하고, 가공 우영상과 원본 중앙 영상 사이에 새로운 시점 영상을 생성하고자 하는 경우는, 상기 가공 우영상을 선택하여 제1 영상으로 결정할 수 있다.
워핑부(554)는 상기 제1 영상 및 상기 원본 중앙 영상을 3D 워핑할 수 있다. 이때, 상기 제1 영상 및 상기 원본 중앙 영상과 대응되는 깊이 정보를 이용하여 사이 시점으로 변환(transformation)할 수 있다.
영상 합성부(555)는 워핑된 원본 중앙 영상의 홀을 보충하기 위해 영상을 합성할 수 있다. 여기서, 영상 합성부(555)는 상기 워핑된 제1 영상을 보간(interpolation)하여 원본 해상도를 복원하는 영상 보간부(미도시)를 포함하고, 상기 보간된 제1 영상을 상기 워핑된 원본 중앙 영상과 합성(blending)하여 새로운 시점 영상을 생성할 수 있다. 이때, 영상 보간부(미도시)는 상기 원본 좌영상 또는 상기 원본 우영상을 가공한 이력정보를 포함하는 필터 정보를 이용하여 상기 제1 영상을 보간할 수 있다. 즉, 원본 좌영상 또는 원본 우영상의 해상도를 변경하여 가공 좌영상 또는 가공 우영상을 생성한 이력 정보를 사용하여 원본의 해상도를 복원하는 보간을 수행할 수 있다.
상기와 같이, 원본 해상도를 유지한 영상 데이터를 사용하여 영상을 처리함으로써, 해상도 손실이 없는 출력 영상을 구현하고, 2D 영상, 스테레오 영상, 및 멀티뷰 영상 중 하나를 선택적으로 재생할 수 있도록 하는 3차원 영상 데이터를 생성하여 영상을 처리함으로써, 기존의 인프라 변경없이 효율적으로 영상을 처리할 수 있다.
도 6은 본 발명의 다른 일실시예에 따라, 멀티뷰 영상을 재생하기 위해, 새로운 시점 영상을 생성하는 영상 처리 장치를 나타내는 블록도이다.
도 6을 참고하면, 멀티뷰 영상을 재생하기 위해, 새로운 시점 영상을 생성하는 영상 처리 장치(600)는 워핑부(610), 영상 가공부(620), 및 영상 합성부(630)를 포함할 수 있다.
워핑부(610)는 제1 해상도의 제1 시점 영상 및 제2 해상도의 제2 시점 영상을 3D 워핑할 수 있다. 예를 들어, 제1 해상도의 중앙 영상, 제2 해상도의 우영상 및 각 영상에 대응하는 깊이 정보를 이용하여 3D 워핑을 수행함으로써, 사이 시점의 영상을 각각 생성할 수 있다.
영상 가공부(620)는 상기 워핑된 제2 시점 영상을 가공하여 보충 영상을 생성할 수 있다. 즉, 제1 시점 영상이 중앙 영상인 경우, 중앙 영상의 3D 워핑 과정 중에 발생하는 hole 영역을 보충하기 위해, 3D 워핑된 제2 시점 영상(ex. 우영상)을 보간하여 인코딩 과정에서 줄어든 제2 시점 영상의 해상도를 원본 영상과 동일하게 만들 수 있다.
영상 합성부(630)는 상기 워핑된 제1 시점 영상과 상기 보충 영상을 합성하여 새로운 시점 영상을 생성할 수 있다. 이를 통해, 제1 시점 영상의 3D 워핑 과정에서 생성된 hole 영역을 보충하여 보다 고품질의 새로운 시점 영상을 합성할 수 있다.
한편, 새로운 시점 영상을 생성하는 과정의 일예는 도 7을 참고하여 이하에서 더욱 상세하게 설명한다.
도 7은 본 발명의 일실시예에 따른 3차원 영상 데이터를 이용하여 새로운 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7을 참고하면, 중앙 영상(710)과 좌/우 영상(720) 사이에 새로운 시점 영상을 생성할 수 있으며, 생성해야 될 시점의 위치가 중앙 영상(710)을 중심으로 오른쪽 혹은 왼쪽인지에 따라 좌영상 또는 우영상을 선택하여 새로운 시점 영상을 합성할 수 있다. 이후, 중앙 영상(710)과 선택된 좌/우 영상(720)을 3D 워핑하여 새로운 시점의 영상(711, 712)을 생성할 수 있다. 여기서, 중앙 영상(710)의 3D 워핑 과정 중에 hole이 발생하므로, 상기 hole을 제거하기 위해, 보충 영상을 생성할 수 있다. 이때, 보충 영상은 3D 워핑을 통해 생성된 좌/우 영상에 대한 새로운 시점 영상(721)을 보간하여 인코딩 과정에서 줄어든 제2 시점 영상의 해상도를 원본 영상과 동일한 해상도로 복원시킨 영상(722)일 수 있다.
따라서, 상기 복원시킨 영상(722)과 3D 워핑을 통해 생성된 중앙 영상에 대한 새로운 시점의 영상(711)을 합성(blending)하여 최종적으로 고품질의 새로운 시점 영상을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따른, 3차원 영상 데이터를 생성하기 위한 영상 처리 방법을 설명하기 위한 동작흐름도이다.
도 8을 참고하면, 단계(810)에서는 원본 좌영상, 원본 중앙 영상, 및 원본 우영상을 입력할 수 있다.
단계(820)에서는 원본 좌영상 및 원본 우영상을 가공하여 가공 좌영상 및 가공 우영상을 생성할 수 있다. 여기서, 가공 좌영상 및 가공 우영상은 상기 원본 좌영상 및 상기 원본 우영상 각각의 세로 해상도를 반으로 줄인 각각의 영상일 수 있다.
단계(830)에서는 원본 중앙 영상으로 구성되는 제1 프레임 영상과 상기 가공 좌영상 및 상기 가공 우영상으로 구성되는 제2 프레임 영상을 포함하는 3차원 영상 데이터를 생성할 수 있다. 여기서, 3차원 영상 데이터는, 상기 원본 좌영상 및 상기 원본 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 가공한 이력정보를 포함하는 필터 정보를 더 포함할 수 있다. 또한, 3차원 영상 데이터는, 각 시점 영상에 대응하는 깊이 영상 데이터, 분할(segmentation) 정보, 및 투명도(transparency) 정보 중 적어도 하나를 포함하는 보조 데이터와 카메라 파라미터, 깊이 범위(depth range) 중 적어도 하나를 포함하는 메타 데이터를 더 포함할 수 있다.
한편, 상기 생성된 3차원 영상 데이터는 인코딩 과정을 통해 인코딩 되어 영상 출력을 필요로 하는 장치 등으로 전송될 수 있다.
한편, 도 8에서 설명되지 않은 부분은 도 1 내지 도 7의 설명을 참고할 수 있다.
상기와 같이, 원본 중앙 영상을 하나의 프레임으로 구성하고, 가공된 좌영상 및 우영상을 하나의 프레임으로 구성하는 3차원 영상 데이터를 이용하여 영상을 처리함으로써, 최소한의 데이터량을 사용하여 고품질의 영상을 처리하고, 해상도 손실이 없는 출력 영상을 구현하며, 기존의 인프라 변경없이 효율적으로 영상을 처리할 수 있다.
본 발명의 실시예에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 영상 입력부
120 : 영상 가공부
130 : 영상 생성부
140 : 인코딩부
150 : 영상 추가부
120 : 영상 가공부
130 : 영상 생성부
140 : 인코딩부
150 : 영상 추가부
Claims (25)
- 원본 좌영상, 원본 중앙 영상, 및 원본 우영상을 입력받는 영상 입력부;
상기 원본 좌영상 및 상기 원본 우영상의 해상도를 감소시키는 변환을 수행하여 가공 좌영상 및 가공 우영상을 생성하는 영상 가공부; 및
상기 원본 중앙 영상으로 구성되는 제1 프레임 영상과 상기 가공 좌영상 및 상기 가공 우영상으로 구성되는 제2 프레임 영상을 포함하는 3차원 영상 데이터를 생성하는 영상 생성부
를 포함하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
상기 영상 가공부는,
상기 원본 좌영상 및 상기 원본 우영상 각각의 세로 해상도를 반으로 줄인 각각의 영상을 상기 가공 좌영상 및 상기 가공 우영상으로 생성하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
상기 영상 가공부는,
상기 원본 좌영상 및 상기 원본 우영상을 각각 인터레이싱(interlacing)하여 홀수 라인만을 포함하는 홀수 영상 및 짝수 라인만을 포함하는 짝수 영상을 생성하고,
상기 홀수 영상 및 상기 짝수 영상을 상기 가공 좌영상 및 상기 가공 우영상으로 결정하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
상기 가공 좌영상 및 가공 우영상은,
상기 원본 좌영상 및 상기 원본 우영상을 각각 체크보드 형태로 배열하여 상기 원본 좌영상의 1/2 해상도를 갖는 체크보드 좌영상 및 상기 원본 우영상의 1/2 해상도를 갖는 체크보드 우영상을 생성하고,
상기 체크보드 좌영상 및 상기 체크보드 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 결정하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
상기 3차원 영상 데이터는,
각 시점 영상에 대응하는 깊이 영상 데이터, 분할(segmentation) 정보, 및 투명도(transparency) 정보 중 적어도 하나를 포함하는 보조 데이터와 카메라 파라미터 정보, 깊이 범위(depth range) 정보 중 적어도 하나를 포함하는 메타 데이터를 더 포함하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
상기 3차원 영상 데이터는,
상기 원본 좌영상 및 상기 원본 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 가공한 이력정보를 포함하는 필터 정보를 더 포함하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
2D 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 중앙 영상에 2D 영상 데이터를 추가하고,
스테레오 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 좌영상 및 상기 원본 우영상에 스테레오 영상 데이터를 추가하고,
멀티뷰 영상을 추가하는 경우, 상기 영상 입력부의 상기 원본 중앙 영상, 상기 원본 좌영상, 및 상기 원본 우영상에 멀티뷰 영상 데이터를 추가하는 영상 추가부
를 더 포함하는 것을 특징으로 하는 영상 처리 장치. - 제1항에 있어서,
상기 3차원 영상 데이터를 인코딩하는 인코딩부
를 더 포함하는 것을 특징으로 하는 영상 처리 장치. - 인코딩된 영상으로부터 제1 프레임 영상 및 제2 프레임 영상을 분리하는 영상 분리부;
출력 모드를 선택하는 모드 선택부;
상기 선택된 출력 모드가 2D 출력 모드인 경우, 상기 제1 프레임 영상을 디코딩하여 2D 영상을 출력하는 2D 출력부;
상기 선택된 출력 모드가 스테레오 출력 모드인 경우, 상기 제2 프레임 영상을 디코딩하여 스테레오 영상을 출력하는 스테레오 출력부; 및
상기 선택된 출력 모드가 멀티뷰 출력 모드인 경우, 상기 제1 프레임 영상 및 상기 제2 프레임 영상을 디코딩하고, 하나 이상의 새로운 시점 영상을 생성하여 멀티뷰 영상을 출력하는 멀티뷰 출력부
를 포함하고,
상기 제1 프레임 영상은 원본 중앙 영상으로 구성되고, 상기 제2 프레임 영상은 원본 좌영상 및 원본 우영상의 해상도를 감소시키는 변환이 수행된 가공 좌영상 및 가공 우영상으로 구성되는 것을 특징으로 하는 영상 처리 장치. - 제9항에 있어서,
상기 가공 좌영상은 상기 원본 좌영상의 세로 해상도를 반으로 줄인 영상이고,
상기 가공 우영상은 상기 원본 우영상의 세로 해상도를 반으로 줄인 영상인 것을 특징으로 하는 영상 처리 장치. - 제9항에 있어서,
상기 가공 좌영상 및 가공 우영상은,
상기 원본 좌영상 및 상기 원본 우영상을 각각 인터레이싱(interlacing)하여 생성된 홀수 영상 및 짝수 영상이고,
상기 홀수 영상은, 인터레이싱된 영상의 홀수 라인만을 포함하고, 상기 짝수 영상은, 인터레이싱된 영상의 짝수 라인만을 포함하는 것을 특징으로 하는 영상 처리 장치. - 제9항에 있어서,
상기 가공 좌영상 및 가공 우영상은,
상기 원본 좌영상 및 상기 원본 우영상을 각각 체크보드 형태로 배열하여 생성된 체크보드 좌영상 및 체크보드 우영상이고,
상기 체크보드 좌영상은 상기 원본 좌영상의 1/2 해상도를 갖고, 상기 체크보드 우영상은 상기 원본 우영상의 1/2 해상도를 갖는 것을 특징으로 하는 영상 처리 장치. - 제9항에 있어서,
상기 멀티뷰 출력부는,
상기 제1 프레임 영상 및 상기 제2 프레임 영상을 디코딩하는 멀티뷰 디코딩부; 및
상기 하나 이상의 새로운 시점 영상을 생성하는 영상 생성부를 포함하고,
상기 영상 생성부는,
상기 가공 좌영상 및 상기 가공 우영상 중 선택된 하나의 영상을 제1 영상으로 결정하는 영상 선택부;
상기 제1 영상 및 상기 원본 중앙 영상을 3D 워핑하는 워핑부; 및
상기 워핑된 원본 중앙 영상의 홀을 보충하기 위해 영상을 합성하는 영상 합성부
를 포함하는 것을 특징으로 하는 영상 처리 장치. - 제13항에 있어서,
상기 영상 합성부는,
상기 워핑된 제1 영상을 보간(interpolation)하여 원본 해상도를 복원하는 영상 보간부를 포함하고,
상기 보간된 제1 영상을 상기 워핑된 원본 중앙 영상과 합성(blending)하여 새로운 시점 영상을 생성하는 것을 특징으로 하는 영상 처리 장치. - 제14항에 있어서,
상기 영상 보간부는,
상기 원본 좌영상 또는 상기 원본 우영상을 가공한 이력정보를 포함하는 필터 정보를 이용하여 상기 제1 영상을 보간하는 것을 특징으로 하는 영상 처리 장치. - 제1 해상도의 제1 시점 영상 및 제2 해상도의 제2 시점 영상을 3D 워핑하는 워핑부;
상기 워핑된 제2 시점 영상을 가공하여 보충 영상을 생성하는 영상 가공부; 및
상기 워핑된 제1 시점 영상과 상기 보충 영상을 합성하여 새로운 시점 영상을 생성하는 영상 합성부
를 포함하고,
상기 제1 시점 영상은,
인코딩된 영상에 포함되고, 원본 중앙 영상으로 구성된 제1 프레임 영상이고,
상기 제2 시점 영상은,
상기 인코딩된 영상의 제2 프레임 영상을 구성하는 가공 좌영상 및 가공 우영상 중 어느 하나이고,
상기 제2 프레임 영상은,
원본 좌영상 및 원본 우영상의 해상도를 감소시키는 변환을 통해 생성된 상기 가공 좌영상 및 상기 가공 우영상으로 구성되는 것을 특징으로 하는 영상 처리 장치. - 제16항에 있어서,
상기 영상 가공부는,
상기 워핑된 제2 시점 영상을 보간(interpolation)하여 상기 제1 해상도를 갖는 보충 영상을 생성하는 것을 특징으로 하는 영상 처리 장치. - 삭제
- 원본 좌영상, 원본 중앙 영상, 및 원본 우영상을 입력받는 단계;
상기 원본 좌영상 및 상기 원본 우영상의 해상도를 감소시키는 변환을 수행하여 가공 좌영상 및 가공 우영상을 생성하는 단계; 및
상기 원본 중앙 영상으로 구성되는 제1 프레임 영상과 상기 가공 좌영상 및 상기 가공 우영상으로 구성되는 제2 프레임 영상을 포함하는 3차원 영상 데이터를 생성하는 단계
를 포함하는 것을 특징으로 하는 영상 처리 방법. - 제19항에 있어서,
상기 가공 좌영상 및 가공 우영상을 생성하는 단계는,
상기 원본 좌영상 및 상기 원본 우영상 각각의 세로 해상도를 반으로 줄인 각각의 영상을 상기 가공 좌영상 및 상기 가공 우영상으로 생성하는 것을 특징으로 하는 영상 처리 방법. - 제19항에 있어서,
상기 가공 좌영상 및 가공 우영상을 생성하는 단계는,
상기 원본 좌영상 및 상기 원본 우영상을 각각 인터레이싱(interlacing)하여 홀수 라인만을 포함하는 홀수 영상 및 짝수 라인만을 포함하는 짝수 영상을 생성하고,
상기 홀수 영상 및 상기 짝수 영상을 상기 가공 좌영상 및 상기 가공 우영상으로 결정하는 것을 특징으로 하는 영상 처리 방법. - 제19항에 있어서,
상기 가공 좌영상 및 가공 우영상은,
상기 원본 좌영상 및 상기 원본 우영상을 각각 체크보드 형태로 배열하여 상기 원본 좌영상의 1/2 해상도를 갖는 체크보드 좌영상 및 상기 원본 우영상의 1/2 해상도를 갖는 체크보드 우영상을 생성하고,
상기 체크보드 좌영상 및 상기 체크보드 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 결정하는 것을 특징으로 하는 영상 처리 방법. - 제19항에 있어서,
상기 3차원 영상 데이터는,
상기 원본 좌영상 및 상기 원본 우영상을 상기 가공 좌영상 및 상기 가공 우영상으로 가공한 이력정보를 포함하는 필터 정보를 더 포함하는 것을 특징으로 하는 영상 처리 방법. - 제19항에 있어서,
상기 3차원 영상 데이터를 인코딩하는 단계
를 더 포함하는 것을 특징으로 하는 영상 처리 방법. - 제19항 내지 제24항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100010096A KR101647408B1 (ko) | 2010-02-03 | 2010-02-03 | 영상 처리 장치 및 방법 |
| US12/923,828 US8666143B2 (en) | 2010-02-03 | 2010-10-08 | Image processing apparatus and method |
| US14/161,102 US20140132599A1 (en) | 2010-02-03 | 2014-01-22 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100010096A KR101647408B1 (ko) | 2010-02-03 | 2010-02-03 | 영상 처리 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110090366A KR20110090366A (ko) | 2011-08-10 |
| KR101647408B1 true KR101647408B1 (ko) | 2016-08-10 |
Family
ID=44341696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100010096A KR101647408B1 (ko) | 2010-02-03 | 2010-02-03 | 영상 처리 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US8666143B2 (ko) |
| KR (1) | KR101647408B1 (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010020925B4 (de) | 2010-05-10 | 2014-02-27 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung |
| KR20120119173A (ko) * | 2011-04-20 | 2012-10-30 | 삼성전자주식회사 | 3ｄ 영상처리장치 및 그 입체감 조정방법 |
| JP5129376B1 (ja) * | 2011-08-31 | 2013-01-30 | 株式会社東芝 | 映像処理装置および映像処理方法 |
| JP2013085157A (ja) * | 2011-10-12 | 2013-05-09 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理システム |
| US10067231B2 (en) | 2012-10-05 | 2018-09-04 | Faro Technologies, Inc. | Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner |
| DE102012109481A1 (de) | 2012-10-05 | 2014-04-10 | Faro Technologies, Inc. | Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
| KR102023179B1 (ko) * | 2013-02-21 | 2019-09-20 | 삼성전자주식회사 | 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치 |
| US9602811B2 (en) | 2014-09-10 | 2017-03-21 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device |
| US9671221B2 (en) | 2014-09-10 | 2017-06-06 | Faro Technologies, Inc. | Portable device for optically measuring three-dimensional coordinates |
| US9693040B2 (en) * | 2014-09-10 | 2017-06-27 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device |
| DE102014013678B3 (de) | 2014-09-10 | 2015-12-03 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten |
| DE102014013677B4 (de) | 2014-09-10 | 2017-06-22 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display |
| US20200014909A1 (en) | 2018-07-03 | 2020-01-09 | Faro Technologies, Inc. | Handheld three dimensional scanner with autofocus or autoaperture |
| KR20230105139A (ko) | 2022-01-03 | 2023-07-11 | 한국전자통신연구원 | 깊이 분포 기반 워핑 영상 혼합 방법 및 장치 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336703A (ja) | 1997-05-27 | 1998-12-18 | Canon Inc | 画像合成装置、方法および記憶媒体 |
| KR100658222B1 (ko) * | 2004-08-09 | 2006-12-15 | 한국전자통신연구원 | 3차원 디지털 멀티미디어 방송 시스템 |
| CA2553473A1 (en) * | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
| KR100747598B1 (ko) | 2005-12-09 | 2007-08-08 | 한국전자통신연구원 | 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법 |
| JP4763571B2 (ja) | 2006-10-24 | 2011-08-31 | シャープ株式会社 | 立体画像生成装置及び立体画像復号装置 |
| KR101362941B1 (ko) * | 2006-11-01 | 2014-02-17 | 한국전자통신연구원 | 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치 |
| DE102006055641B4 (de) * | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes |
| KR100918862B1 (ko) | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| KR101488199B1 (ko) * | 2008-03-12 | 2015-01-30 | 삼성전자주식회사 | 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체 |
| JP5127633B2 (ja) * | 2008-08-25 | 2013-01-23 | 三菱電機株式会社 | コンテンツ再生装置および方法 |
| WO2010048632A1 (en) * | 2008-10-24 | 2010-04-29 | Real D | Stereoscopic image format with depth information |
| US20100289874A1 (en) * | 2009-05-15 | 2010-11-18 | Fuhua Cheng | Square tube mirror-based imaging system |
| US20110216160A1 (en) * | 2009-09-08 | 2011-09-08 | Jean-Philippe Martin | System and method for creating pseudo holographic displays on viewer position aware devices |
| US8964004B2 (en) * | 2010-06-18 | 2015-02-24 | Amchael Visual Technology Corporation | Three channel reflector imaging system |
-
2010
- 2010-02-03 KR KR1020100010096A patent/KR101647408B1/ko active IP Right Grant
- 2010-10-08 US US12/923,828 patent/US8666143B2/en active Active
-
2014
- 2014-01-22 US US14/161,102 patent/US20140132599A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20140132599A1 (en) | 2014-05-15 |
| US8666143B2 (en) | 2014-03-04 |
| KR20110090366A (ko) | 2011-08-10 |
| US20110188739A1 (en) | 2011-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101647408B1 (ko) | 영상 처리 장치 및 방법 | |
| JP5221227B2 (ja) | ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 | |
| KR101840308B1 (ko) | 3차원 콘텐츠에 관한 영상들을 조합하기 위한 방법 | |
| JP6229962B2 (ja) | 符号化装置及び符号化方法 | |
| JP5127633B2 (ja) | コンテンツ再生装置および方法 | |
| KR101396337B1 (ko) | 스테레오스코픽 영상 비트스트림 생성 방법 및 장치 | |
| JP5906462B2 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム | |
| JP4763571B2 (ja) | 立体画像生成装置及び立体画像復号装置 | |
| JP2005094168A (ja) | ファイル構造及びそれを用いる画像記録装置並びに画像再生装置 | |
| JPWO2013073316A1 (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
| US20120268558A1 (en) | Method and apparatus for video encoding using inter layer prediction with pre-filtering, and method and apparatus for video decoding using inter layer prediction with post-filtering | |
| JP2014132721A (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
| US20120050465A1 (en) | Image processing apparatus and method using 3D image format | |
| WO2011114745A1 (ja) | 映像再生装置 | |
| JP2014132722A (ja) | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム | |
| WO2004030375A1 (ja) | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190717 Year of fee payment: 4 |