KR102550216B1 - 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법 - Google Patents
영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법 Download PDFInfo
- Publication number
- KR102550216B1 KR102550216B1 KR1020220089562A KR20220089562A KR102550216B1 KR 102550216 B1 KR102550216 B1 KR 102550216B1 KR 1020220089562 A KR1020220089562 A KR 1020220089562A KR 20220089562 A KR20220089562 A KR 20220089562A KR 102550216 B1 KR102550216 B1 KR 102550216B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- depth information
- synthesized
- image processing
- frames
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 23
- 230000010365 information processing Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- SXAMGRAIZSSWIH-UHFFFAOYSA-N 2-[3-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-1,2,4-oxadiazol-5-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1=NOC(=N1)CC(=O)N1CC2=C(CC1)NN=N2 SXAMGRAIZSSWIH-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 1
- YJLUBHOZZTYQIP-UHFFFAOYSA-N 2-[5-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-1,3,4-oxadiazol-2-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1=NN=C(O1)CC(=O)N1CC2=C(CC1)NN=N2 YJLUBHOZZTYQIP-UHFFFAOYSA-N 0.000 description 1
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- CONKBQPVFMXDOV-QHCPKHFHSA-N 6-[(5S)-5-[[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]methyl]-2-oxo-1,3-oxazolidin-3-yl]-3H-1,3-benzoxazol-2-one Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C[C@H]1CN(C(O1)=O)C1=CC2=C(NC(O2)=O)C=C1 CONKBQPVFMXDOV-QHCPKHFHSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
본 발명은 영상 처리 장치에 대한 것으로, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부; 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부; 및 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 합성 영상 생성부; 를 포함하는 영상 처리 장치에 관한 것이다.
Description
본 발명은 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법에 대한 것이며, 상세하게는 복수의 영상 프레임을 깊이 정보에 기초하여 합성하는 발명에 대한 것이다.
특허문헌 001은 3D 영상 디스플레이 장치 및 방법에 관한 것으로, 3D 영상 디스플레이 장치는 제1 3D 영상을 복수의 깊이 층(depth layer)으로 분할하고, 분할된 깊이 층들에 각각 대응하는 불규칙 픽셀을 확정하고, 해당 불규칙 픽셀을 사용하여 깊이 층들에 각각 대응하는 제2 3D 영상들을 생성하고, 이들을 합성함으로써 고해상도의 최종 3D 영상을 제공하는 기술을 제시하고 있다.특허문헌 002는 3D 파노라마 영상과 같은 다양한 화각 및/또는 다양한 해상도를 가지는 3D 영상을 촬영할 수 있는 깊이 카메라 장치, 그것을 구비한 3D영상 디스플레이 시스템 및 그 제어방법에 관한 것으로, 깊이 카메라 장치는 IR을 이용하여 피사체의 깊이 영상을 촬영하는 깊이 카메라와; 외부에서 입력되는 광을 영상신호로 변환하여 피사체의 칼라 영상을 촬영하는 칼라 카메라와; 깊이 카메라 및 칼라 카메라와 피사체에 대해 회전하여 깊이 카메라와 칼라 카메라가 피사체를 촬영할 수 있는 화각의 위치를 일정각도로 변화시키는 화각 확장부와; 화각 확장부에 의해 화각 위치가 일정각도로 변화되는 동안 깊이 카메라에 의해 촬영되는 깊이 영상 프레임들과 칼라 카메라에 의해 촬영되는 칼라 영상 프레임들을 각각 합성하여 단일 깊이 영상과 단일 칼라 영상을 형성하는 제어부를 포함하는 기술을 제시하고 있다.
특허문헌 003은 웹 브라우저에서 고품질 영상들의 디스플레이를 용이하게 하는 3D 영상 생성 및 디스플레이 시스템에 관한 것으로, 복수의 서로 다른 영상들 및 컴퓨터 그래픽스 모델링으로부터 3D 영상들을 생성하고 텍스처와 속성 데이터를 가지는 이러한 영상들로부터 3D 객체를 생성하는 수단; 상기 3D 객체를 3D 그래픽스 기술 언어로 3D 묘사 파일로서 변환 및 출력하는 수단; 상기 3D 묘사 파일로부터 3D 객체와 텍스처들을 추출하고, 다양한 속성 데이터를 설정하고, 상기3D 객체를 편집 및 처리하여 애니메이션 등을 도입하고 다양한 효과들을 배정하는 수단; 웹 브라우저 내에서 디스플레이되도록 압축된 상기 생성된 3D 데이터 파일들로부터 다양한 웹-기반 3D 객체들을 생성하고 웹 브라우저에서 애니메이션으로 3D 장면들을 디스플레이하기 위한 거동 데이터를 생성하는 수단; 웹 브라우저에 3D 장면들을 묘화 및 디스플레이하기 위한 스크립트들, 플러그-인들, 및 애플릿들과 같은 웹-기반 프로그램들과 웹 페이지를 포함하는 실행 파일을 생성하는 수단을 포함하는 기술을 제시하고 있다.
특허문헌 004는 대칭적 변이 추정(Symmetric Disparity Estimation)을 이용한 중간 시점 영상 합성 방법 및 그 장치에 관한 것으로, 좌 영상 및 우 영상의 중간 시점에서 가상 영상 영역을 설정하는 과정, 가상 영상을 일정 블록 단위로 분할하는 과정, 분할된 임의의 블록의 기준 좌표를 중심으로 좌 영상과 우 영상내 블록을 픽셀 단위로 좌우로 대칭적으로 이동하여 좌, 우 변이 벡터를 추정하는 과정, 추정된 좌, 우 변이 벡터가 지정하는 좌, 우 영상의 픽셀 값으로 중간 영상을 생성하는 과정을 포함하는 기술을 제시하고 있다.
본 발명은 복수의 영상 프레임을 깊이 정보를 기초로 합성할 수 있는 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 깊이를 가진 영상의 합성 및 엔터테인먼트 산업에서의 이용성을 높일 수 있는 영상 처리 장치, 서버, 영상 처리 시스템 및 영상 처리 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 성능이 좋지 않은 단말에서도 실시간으로 영상을 다운로드 또는 합성하여 사용자에게 표시할 수 있는 영상 처리 장치, 서버, 영상 처리 시스템 및 영상 처리 방법을 제공하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 영상 처리 장치는 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부; 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부; 및 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 합성 영상 생성부; 를 포함할 수 있다.
본 발명의 일실시예에서 상기 서로 다른 특징은, 캐릭터의 종류, 캐릭터의 의상, 캐릭터의 위치 및 배경 중 적어도 어느 하나를 포함할 수 있다.
본 발명의 일실시예에서, 상기 합성 영상 생성부는, 상기 깊이 순서를 기초로 상기 깊이 순서가 먼저인 영상 프레임부터 픽셀 값을 기록하여 상기 합성 영상을 생성할 수 있다.
본 발명의 일실시예에서 상기 합성 영상 생성부는, 상기 깊이 순서가 먼저인 영상 프레임부터 픽셀 값을 기록하되, 픽셀 값이 기록 되어있지 않은 픽셀에 상기 픽셀 값을 기록할 수 있다.
본 발명의 일실시예에서, 상기 복수의 영상 프레임은 한 시점에서는 한 카메라로부터 촬영되어 생성할 수 있다.
본 발명의 일실시예에서 상기 영상 프레임 생성부는, 상기 복수개의 영상 프레임 중 배경과 관련된 영상 프레임 및 사물과 관련된 영상 프레임을 구분하고, 상기 사물과 관련된 영상 프레임은 사물이 존재하지 않는 픽셀의 픽셀 값을 투명함을 나타내는 값으로 설정할 수 있다.
본 발명의 일실시예에서, 상기 합성 영상 생성부는, 상기 복수의 영상 프레임에 포함된 픽셀의 픽셀 값이 상기 투명함을 나타내는 값이 아닌 경우에 상기 깊이 정보를 기초로 합성하여 상기 합성 영상을 생성할 수 있다.
본 발명의 일실시예에서, 상기 복수의 영상 프레임은 YUV 422 포맷이고, 상기 합성 영상은 YUV 444 포맷이며, 상기 합성 영상 생성부는, 상기 복수의 영상 프레임의 Cb, Cr 값과 관련된 행렬을 YUV 444 포맷으로 변환하기 위한 연산을 수행할 수 있다.
본 발명의 일실시예에 따른 서버는, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부; 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부; 및 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 합성 영상 생성부; 및 단말과 통신하는 통신부; 를 포함하고, 상기 통신부를 통해 상기 단말로부터 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치 및 특정 배경과 관련된 특정 합성 영상의 다운로드 요청을 수신하면, 상기 특정 합성 영상을 전송하도록 구성될 수 있다.
본 발명의 일실시예에 따른 영상 처리 시스템은, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부; 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부; 및 통신부; 를 포함하는 서버; 및 단말을 포함하고, 상기 서버는, 상기 단말로부터 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치 및 특정 배경을 포함하는 특정 상황에 관련된 영상 프레임의 다운로드 요청이 존재하면, 상기 특정 상황에 관련된 복수개의 영상 프레임 및 상기 깊이 정보를 상기 단말로 전송하고, 상기 단말은, 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 단계; 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 단계; 및 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 단계; 를 포함할 수 있다.
본 발명은 깊이 정보에 기반하여 복수의 영상 프레임을 합성할 수 있는 영상 처리 장치, 서버, 영상 처리 시스템 및 영상 처리 방법을 제공할 수 있다.
또한, 본 발명은 성능이 좋지 않은 단말에서도 복수의 영상 프레임을 실시간으로 합성하거나 다운로드할 수 있는 영상 처리 장치, 서버, 영상 처리 시스템 및 영상 처리 방법을 제공할 수 있다.
또한, 본 발명은 캐릭터의 종류, 의상, 위치 및 배경 중 적어도 어느 하나를 포함하는 복수의 영상 프레임을 합성하여 적은 연산으로도 3D 영상을 사용자에게 제공할 수 있는 영상 처리 장치, 서버, 영상 처리 시스템 및 영상 처리 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 본 발명의 일실시에에 따른 서버의 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 시스템의 블록도이다.
도 4는 본 발명의 일실시예에 따른 단말 또는 서버의 블록도이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 합성 영상을 생성하는 과정을 도시한 개념도이다.
도 7은 본 발명의 일실시예에 따른 영상 프레임 생성부가 배경과 사물을 구분하여 생성하는 것을 도시한 개념도이다.
도 2는 본 발명의 일실시에에 따른 서버의 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 시스템의 블록도이다.
도 4는 본 발명의 일실시예에 따른 단말 또는 서버의 블록도이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 합성 영상을 생성하는 과정을 도시한 개념도이다.
도 7은 본 발명의 일실시예에 따른 영상 프레임 생성부가 배경과 사물을 구분하여 생성하는 것을 도시한 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발 명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "통신", "통신망" 및 "네트워크"는 동일한 의미로 사용될 수 있다. 상기 세 용어 들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거 리 및 광역 데이터 송수신망을 포함할 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
(실시예 1-1) 영상 처리 장치(100)에 있어서, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부(110); 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부(120); 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 합성 영상 생성부(130); 를 포함한다.
본 발명은 영상 처리 장치에 대한 것으로, 상세하게는, 영상 프레임 생성부(110), 깊이 정보 처리부(120) 및 합성 영상 생성부(130)를 포함하는 구성으로 이루어질 수 있다.
영상 프레임 생성부(110)는 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성할 수 있다. 예를 들어, 서로 다른 특징은 캐릭터와 관련된 특징 및 배경 중 적어도 어느 하나를 포함할 수 있다. 예를 들어, 캐릭터와 관련된 특징은 캐릭터의 종류, 캐릭터의 의상, 캐릭터의 위치를 포함할 수 있다. 다른 예를 들어, 복수의 시점은 1/60초마다 영상 프레임이 생성됨을 나타낼 수 있다. 다른 예를 들어, 복수의 영상 프레임은 픽셀로 구성될 수 있다. 영상 프레임이 FHD(Full HD) 화질인 경우 1920*1080개의 픽셀을 포함할 수 있다. 즉, 영상 프레임 생성부(110)는 1분짜리 영상에 관련된 영상 프레임을 생성하는 경우에 3600개의 시점이 존재하고 4개의 특징이 존재하며 1920*1080개의 픽셀에 관한 정보를 생성해야 하기 때문에 대략 298억개의 픽셀의 정보를 생성 해야할 수 있다. 따라서, 실시예예 따르면 영상 프레임 생성부(110)는 각각의 서로 다른 특징에 대하여 각각의 복수의 영상 프레임을 미리 생성할 수 있다.
깊이 정보 처리부(120)는 복수개의 영상 프레임의 깊이 정보를 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장할 수 있다. 예를 들어, 깊이 정보 처리부(120)는 동일 시점이 아닌 다른 시점의 영상 프레임들의 깊이 순서를 저장하지 않을 수 있다. 다른 예를 들어, 깊이 정보 처리부(120)는 하나의 시점(예: 30/60초)에 포함된 복수개의 영상 프레임들의 깊이 순서를 저장할 수 있다. 다른 예를 들어, 깊이 정보 처리부(120)는 각각의 특징에 대응되는 복수개의 영상 프레임들의 깊이 순서를 저장할 수 있다. 이 경우, 특징이 4가지가 존재하면 4개의 영상 프레임들의 깊이 순서를 저장할 수 있다.
합성 영상 생성부(130)는 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성할 수 있다. 예를 들어, 합성 영상 생성부(130)는 깊이 순서를 기초로 깊이 순서가 먼저인 영상 프레임부터 픽셀 값을 기록하여 합성 영상을 생성할 수 있다. 이 경우, 합성 영상 생성부(130)는 깊이 순서가 먼저인 영상 프레임부터 픽셀 값을 기록하되, 픽셀 값이 기록되어있지 않은 픽셀에만 픽셀 값을 기록할 수 있다. 픽셀 값이 기록된 픽셀의 경우 깊이 순서가 먼저인 영상 프레임의 픽셀 값이 기록되기 때문에, 합성 영상 생성부(130)는 픽셀 값이 기록된 픽셀에는 깊이 순서가 나중인 영상 프레임의 픽셀 값을 기록하지 않을 수 있다.
관련하여 도 6을 참조하면, 영상 프레임 생성부(110)는 배경 영상 프레임(610), 제1 캐릭터의 영상 프레임(620) 및 제2 캐릭터의 영상 프레임(630)을 생성할 수 있다. 또한, 깊이 정보 처리부(120)는 배경 영상 프레임(610), 제1 캐릭터의 영상 프레임(620) 및 제2 캐릭터의 영상 프레임(630)의 깊이 정보를 동일 시점의 깊이 순서로서 저장할 수 있다. 또한, 합성 영상 생성부(130)는 배경 영상 프레임(610), 제1 캐릭터의 영상 프레임(620) 및 제2 캐릭터의 영상 프레임(630)을 깊이 정보에 기반하여 합성하여 합성 영상(640)을 생성할 수 있다.
다시 도 1을 참조하면, 이와 같은 영상 처리 장치를 통해 이용자는 서로 다른 특징을 갖는 복수의 영상 프레임이 합성된 영상을 제공받을 수 있고, 깊이 순서에 기반하여 복수의 영상 프레임을 합성하여 합성이 보다 더 용이하게 진행될 수 있다.
또한, 이와 같은 영상 처리 장치를 통해 서로 다른 특징을 갖는 복수개의 영상 프레임이 먼저 생성되어있으면, 복수개의 영상 프레임을 합성하는 방법은 비교적 간단하므로, 영상을 합성하는 장치의 성능이 낮은 경우에도 빠르게 영상 프레임을 합성할 수 있다.
(실시예 1-2) 실시예 1-1에 있어서, 상기 복수개의 영상 프레임은 캐릭터와 관련된 영상 프레임과 배경과 관련된 영상 프레임으로 구분될 수 있다.
영상 프레임 생성부(110)는 캐릭터와 관련된 영상 프레임과 배경과 관련된 영상 프레임을 구분하여 생성할 수 있다. 예를 들어, 캐릭터와 관련된 영상 프레임은 캐릭터의 종류, 캐릭터의 의상, 캐릭터의 위치가 반영된 영상 프레임일 수 있다. 다른 예를 들어, 배경과 관련된 영상 프레임은 사용자가 선택한 배경 또는 사용자가 선택한 곡의 배경 중 어느 하나가 반영된 영상 프레임일 수 있다.
예를 들어, 캐릭터의 종류가 3개이고 캐릭터의 의상이 3종류이고 캐릭터의 위치가 오른쪽 또는 왼쪽으로 2가지인 경우 영상 프레임 생성부(110)는 모든 캐릭터의 모든 의상과 모든 위치의 선택에 따라서 18개의 영상 프레임을 미리 생성할 수 있다. 따라서, 영상 프레임 생성부(110)는 사용자가 선택한 캐릭터, 의상 및 위치에 따라서 미리 생성된 영상 프레임을 제공할 수 있다.
(실시예 1-3) 실시예 1-1 또는 실시예 1-2에 있어서, 상기 영상 프레임 생성부(110)는 복수개의 영상 프레임을 미리 생성할 수 있다.
영상 프레임 생성부(110)는 캐릭터의 종류, 캐릭터의 의상, 캐릭터의 위치와 관련된 정보를 미리 획득하여 각각의 캐릭터의 종류, 의상, 위치에 대응되는 복수의 영상 프레임을 미리 생성할 수 있다. 또한, 영상 프레임 생성부(110)는 새로운 캐릭터의 종류, 새로운 캐릭터의 의상, 새로운 캐릭터의 위치가 입력되는 경우, 해당 정보를 기초로 기존 캐릭터와 관련된 정보와 함께 사용하여 복수의 영상 프레임을 미리 생성할 수 있다. 또한, 영상 프레임 생성부(110)는 복수의 배경과 대응되는 영상 프레임을 미리 생성할 수 있다.
(실시예 1-4) 실시예 1-1 내지 실시예 1-3에 있어서, 복수의 영상 프레임은 한 시점에서는 한 카메라로부터 촬영되어 생성될 수 있다.
복수의 영상 프레임을 합성하기 위해서는 한 시점에는 한 카메라로부터 촬영되어야할 수 있다. 따라서, 영상 프레임 생성부(110)는 한 시점에는 한 카메라로 촬영된 영상 프레임을 생성할 수 있다.
(실시예 2-1) 실시예 1-1에 있어서, 영상 프레임 생성부(110)는 복수개의 영상 프레임 중 배경과 관련된 영상 프레임 및 사물과 관련된 영상 프레임을 구분할 수 있고 사물과 관련된 영상 프레임은 사물이 존재하지 않는 픽셀의 픽셀 값을 투명함을 나타내는 값으로 설정할 수 있다.
영상 프레임 생성부(110)는 복수의 영상 프레임을 생성하는 경우에 합성이 바로 가능하도록 전처리된 상태로 생성할 수 있다. 예를 들어, 영상 프레임 생성부(110)는 복수개의 영상 프레임 중 배경과 관련된 영상 프레임과 사물과 관련된 영상 프레임을 구분할 수 있고, 사물과 관련된 영상 프레임은 사물이 존재하지 않는 픽셀의 픽셀 값을 투명함을 나타내는 값으로 설정할 수 있다. 다른 예를 들어, 영상 프레임 생성부(110)는 배경과 사물을 각각 녹화하여 배경과 관련된 영상 프레임과 사물과 관련된 영상 프레임을 구분하여 생성할 수 있다. 또 다른 예를 들어, 사물이 없는 곳을 투명하게 처리한 영상 프레임을 alpha 값 영상 프레임으로 참조할 수 있다.
실시예에 따르면, 사물은 캐릭터, 캐릭터의 의상, 캐릭터의 위치, 캐릭터와 관련된 물체 등을 모두 포함할 수 있다.
관련하여 도 7을 참조하면, 영상 프레임 생성부(110)는 사물을 녹화하여 사물과 관련된 영상 프레임(710)을 생성할 수 있다. 또한, 영상 프레임 생성부(110)는 사물이 존재하지 않는 픽셀의 픽셀 값을 투명함을 나타내는 값으로 설정하여 alpha 값 영상 프레임(720)을 생성할 수 있다.
이하에서는 다시 도 1을 참조한다.
(실시예 2-2) 실시예 2-1에 있어서, 합성 영상 생성부(130)는 복수의 영상 프레임에 포함된 픽셀의 픽셀 값이 투명함을 나타내는 값이 아닌 경우에 깊이 정보를 기초로 합성하여 합성 영상을 생성할 수 있다.
영상 프레임에 픽셀의 픽셀 값이 투명함을 나타내는 값의 경우, 사물이 존재하는 픽셀이 아니므로 합성 영상 생성부(130)는 영상 프레임에 포함된 픽셀의 픽셀 값이 투명함을 나타내는 값인 경우에는 합성을 수행하지 않고, 영상 프레임에 포함된 픽셀의 픽셀 값이 투명함을 나타내는 값이 아닌 경우에 깊이 정보를 기초로 합성하여 합성 영상을 생성할 수 있다.
(실시예 3-1) 실시예 1-1 또는 실시예 2-1에 있어서, 깊이 정보 처리부(120)는 사물의 깊이 정보를 순서로서 저장할 수 있다.
예를 들어, 깊이 정보 처리부(120)는 복수의 영상 프레임의 깊이 정보를 저장하는 경우에, 각각의 영상 프레임에 대응되는 사물(또는 캐릭터)와 카메라로부터의 거리로 순서를 결정할 수 있고, 해당 순서를 깊이 정보로서 저장할 수 있다.
다른 예를 들어, 깊이 정보 처리부(120)는 2분짜리 영상에 4명의 캐릭터가 존재하면 1/60초마다 4명의 순서 정보를 저장하여 깊이 정보를 저장할 수 있다. 즉, 깊이 정보 처리부(120) 각각의 영상 프레임에 대응되는 캐릭터가 카메라에 가까운 순서대로 각각의 영상 프레임의 순서를 저장할 수 있다.
(실시예 3-2) 실시예 3-1에 있어서, 깊이 정보 처리부(120)는 n 개의 영상 프레임의 깊이 정보를 하기의 수학식을 만족하는 N bit로 저장할 수 있다.
예를 들어, 캐릭터가 3명인 경우, 경우의 수는 3!인 6가지
이며, 
이므로, 이보다 큰 자연수 중 가장 작은 자연수는 3이므로, 깊이 정보 처리부(120)는 3 bit안에 6가지 경우의 수를 모두 저장할 수 있다.
(실시예 4-1) 실시예 1-1, 실시예 2-1 또는 실시예 3-1에 있어서, 합성 영상 생성부(130)는 복수의 영상 프레임의 Cb. Cr 값과 관련된 행렬을 YUV 444 포맷으로 변환하기 위한 연산을 수행할 수 있다.
복수의 영상 프레임은 Y 값, Cb 값 및 Cr 값을 포함할 수 있다. 복수의 영상 프레임은 YUV 422 포맷일 수 있다. 합성 영상 생성부(130)에서 생성되는 합성 영상은 YUV 444 포맷일 수 있다. YCbCr은 YUV의 한 종류로서 Y는 밝기(Luminance), U는 Blue color-Y, V는 Red color - Y를 의미할 수 있다. 이때, 디지털 방식의 YUV를 YCbCr로 표현할 수 있다. YCbCr에서 Y는 휘도(밝기)를 의미할 수 있고, Cb, Cr은 색차 성분을 의미할 수 있다. 예를 들어, Y가 크면 밝고, Y가 작으면 어두울 수 있다. RGB의 경우 각 요소들이 8 bit씩 균일한 정보가 필요하기 때문에, 필요로하는 정보량이 많아 적은 데이터로 많은 색상 표현이 가능한 YCbCr을 요소 검출에 다수 사용할 수 있다.
예를 들어, 합성 영상 생성부(130) 합성할 복수의 영상 프레임의 Y 값을 로드(load)하여 그려질 바이트 벡터(Byte Vector)와 앤드 조건을 만족하는지 확인하여 필터링하고, 결과 프레임에 추가 후 저장할 수 있다.
예를 들어, 합성 영상 생성부(130)는 RGB 변환을 쉽게 하기 위하여 YUV 422 포맷인 복수의 영상 프레임을 YUV 444 포맷의 합성 영상으로 변환할 수 있다. 이 경우, 합성 영상 생성부(130)는 행렬의 한칸에 기록되는 Cb 값과 Cr 값을 두칸에 기록되는 행렬로 행렬 변환하여 포맷을 변경할 수 있다.
(실시예 4-2) 4-1에 있어서, 합성 영상 생성부(130)는 SIMD의 Shuffle 명령을 이용하여 Cb 및 Cr 값과 관련된 행렬을 YUV 444 포맷으로 변환하기 위한 연산을 수행할 수 있다.
(실시예 5-1) 서버(200)에 있어서, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부(210); 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부(220); 및 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 합성 영상 생성부(230); 및 단말과 통신하는 통신부(240); 를 포함할 수 있다.
서버(200)는 영상 프레임 생성부(210) 깊이 정보 처리부(220), 합성 영상 생성부(230) 및 통신부(240)를 포함할 수 있다. 예를 들어, 서버(200)는 합성 영상을 제공하는 서버일 수 있다. 다른 예를 들어, 서버(200)는 엔터테인먼트 산업을 제공하는 회사 또는 게임 회사의 서버일 수 있다. 또 다른 예를 들어, 서버(200)는 3D 영상을 2D 영상으로 디스플레이하는 솔루션을 제공하는 서버일 수 있다.
영상 프레임 생성부(210), 깊이 정보 처리부(220) 및 합성 영상 생성부(230)는 각각 도 1의 영상 프레임 생성부(110), 깊이 정보 처리부(120) 및 합성 영상 생성부(130)와 동일 유사한 동작을 수행할 수 있다.
통신부(240)는 단말과 통신할 수 있다. 예를 들어, 통신부(240)는 도 4의 통신 회로(420)와 동일 유사한 구성일 수 있다.
(실시예 5-2) 실시예 5-1에 있어서, 서버(200)는 상기 통신부(240)를 통해 상기 단말로부터 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치 및 특정 배경과 관련된 특정 합성 영상의 다운로드 요청을 수신하면, 상기 특정 합성 영상을 전송하도록 구성될 수 있다.
서버(200)는 통신부(240)를 통해 상기 단말로부터 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치 및 특정 배경과 관련된 특정 합성 영상의 다운로드 요청을 수신할 수 있다. 이 경우 서버(200)는 영상 프레임 생성부(210)에서 생성된 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치에 대응되는 복수의 영상 프레임과 특정 배경에 대응되는 복수의 영상 프레임을, 깊이 정보 처리부(220)에서 저장한 깊이 정보에 기반하여, 합성 영상 생성부(230)로 하여금 합성 영상을 생성하도록 할 수 있다. 따라서, 서버(200)는 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치에 대응되는 복수의 영상 프레임과 특정 배경에 대응되는 특정 합성 영상을 생성하여 통신부(240)를 통해 단말에게 제공할 수 있다.
위와 같은 동작을 통해, 단말은 서버(200)로부터 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치 및 특정 배경에 대응되는 합성 영상을 다운로드할 수 있고, 사용자는 해당 합성 영상을 제공받을 수 있다.
(실시예 6-1) 영상 처리 시스템에 있어서, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부(310); 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부(320); 및 통신부(330); 를 포함하는 서버(300); 및 단말(340)을 포함할 수 있다.
서버(300)는 도 2의 서버(200)에서 합성 영상 생성부(230)를 제외하여 구성될 수 있다. 제외된 합성 영상 생성부(230)는 단말(340)에 구비될 수 있다.
영상 프레임 생성부(310) 및 깊이 정보 처리부(320)는 각각 도 1의 영상 프레임 생성부(110) 및 깊이 정보 처리부(120)와 동일 유사한 동작을 수행할 수 있다.
통신부(330)는 단말(340)과 통신할 수 있다. 예를 들어, 통신부(330)는 도 4의 통신 회로(420)와 동일 유사한 구성일 수 있다.
실시예에 따르면, 서버(300) 및 단말(340)은 도 4에 도시된 구성들을 포함할 수 있다.
단말(340)은 도 1의 합성 영상 생성부(130)에 대응되는 구성을 구비할 수 있다. 즉, 단말(340)는 서버(300)로부터 복수의 영상 프레임 및 깊이 정보가 수신되는 경우 복수의 영상 프레임을 깊이 정보에 기반하여 합성하여 합성 영상을 생성할 수 있다. 예를 들어, 단말(340)은 생성한 합성 영상을 사용자에게 디스플레이할 수 있다.
(실시예 6-2) 실시예 6-1에 있어서, 상기 서버(300)는, 상기 단말(340)로부터 특정 캐릭터의 종류, 특정 캐릭터의 의상, 특정 캐릭터의 위치 및 특정 배경을 포함하는 특정 상황에 관련된 영상 프레임의 다운로드 요청이 존재하면, 상기 특정 상황에 관련된 복수개의 영상 프레임 및 상기 깊이 정보를 상기 단말(340)로 전송하고, 상기 단말(340)은, 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성할 수 있다.
(실시예 7-1) 실시예 5-1 또는 실시예 6-1에 있어서, 단말 또는 서버는 프로세서(410), 메모리(420), 통신회로(430)를 포함할 수 있다.
(실시예 7-2) 실시예 7-1에 있어서 단말 또는 서버는 디스플레이(440)를 더 포함할 수 있다.
도 4를 참조하면, 단말 또는 서버는 프로세서(410), 메모리(420), 및 통신 회로(430)를 포함할 수 있다. 일 실시 예에 따르면, 단말 또는 서버는 사용자와 인터페이스를 수행하기 위하여 디스플레이(440)를 더 포함할 수 있다. 실시예에 따르면, 서버는 도 3의 서버(300)일 수 있다. 또한, 단말은 도 3의 단말(340)일 수 있다.
프로세서(410)는 단말 또는 서버의 전반적인 동작을 제어할 수 있다. 다양한 실시 예들에서, 프로세서(410)는 하나의 프로세서 코어(single core)를 포함하거나, 복수의 프로세서 코어들을 포함할 수 있다. 예를 들면, 프로세서(410)는 듀얼 코어(dual-core), 쿼드 코어(quad-core), 헥사 코어(hexa-core) 등의 멀티 코어(multi-core)를 포함할 수 있다. 실시 예들에 따라, 프로세서(410)는 내부 또는 외부에 위치된 캐시 메모리(cache memory)를 더 포함할 수 있다. 실시 예들에 따라, 프로세서(410)는 하나 이상의 프로세서들로 구성될(configured with) 수 있다. 예를 들면, 프로세서(410)는, 애플리케이션 프로세서(application processor), 통신 프로세서(communication processor), 또는 GPU(graphical processing unit) 중 적어도 하나를 포함할 수 있다.
프로세서(410)의 전부 또는 일부는 단말 또는 서버 내의 다른 구성 요소(예를 들면, 메모리(420), 통신 회로(430), 또는 디스플레이(440))와 전기적으로(electrically) 또는 작동적으로(operatively) 결합(coupled with)되거나 연결될(connected to) 수 있다. 프로세서(410)는 단말 또는 서버의 다른 구성 요소들의 명령을 수신할 수 있고, 수신된 명령을 해석할 수 있으며, 해석된 명령에 따라 계산을 수행하거나 데이터를 처리할 수 있다. 프로세서(410)는 메모리(420), 통신 회로(430), 또는 디스플레이(440)로부터 수신되는 메시지, 데이터, 명령어, 또는 신호를 해석할 수 있고, 가공할 수 있다. 프로세서(410)는 수신된 메시지, 데이터, 명령어, 또는 신호에 기반하여 새로운 메시지, 데이터, 명령어, 또는 신호를 생성할 수 있다. 프로세서(410)는 가공되거나 생성된 메시지, 데이터, 명령어, 또는 신호를 메모리(420), 통신 회로(430), 또는 디스플레이(440)에게 제공할 수 있다.
프로세서(410)는 프로그램에서 생성되거나 발생되는 데이터 또는 신호를 처리할 수 있다. 예를 들면, 프로세서(410)는 프로그램을 실행하거나 제어하기 위해 메모리(420)에게 명령어, 데이터 또는 신호를 요청할 수 있다. 프로세서(410)는 프로그램을 실행하거나 제어하기 위해 메모리(420)에게 명령어, 데이터, 또는 신호를 기록(또는 저장)하거나 갱신할 수 있다.
실시예에 따르면, 도 1 내지 도 3에 개시된 영상 프레임 생성부, 깊이 정보 처리부 또는 합성 영상 생성부의 역할은 프로세서(410)로부터 수행될 수 있다. 즉, 일 실시예에서, 프로세서(410)는 영상 프레임을 생성하는 모듈, 깊이 정보를 처리하는 모듈 및 합성 영상을 생성하는 모듈을 포함할 수 있다.
메모리(420)는 단말 또는 서버를 제어하는 명령어, 제어 명령어 코드, 제어 데이터, 또는 사용자 데이터를 저장할 수 있다. 예를 들면, 메모리(420)는 애플리케이션(application) 프로그램, OS(operating system), 미들웨어(middleware), 또는 디바이스 드라이버(device driver) 중 적어도 하나를 포함할 수 있다.
메모리(420)는 휘발성 메모리(volatile memory) 또는 불휘발성(non-volatile memory) 중 하나 이상을 포함할 수 있다. 휘발성 메모리는 DRAM(dynamic random access memory), SRAM(static RAM), SDRAM(synchronous DRAM), PRAM(phase-change RAM), MRAM(magnetic RAM), RRAM(resistive RAM), FeRAM(ferroelectric RAM) 등을 포함할 수 있다. 불휘발성 메모리는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable programmable ROM), 플래시 메모리(flash memory) 등을 포함할 수 있다.
메모리(420)는 하드 디스크 드라이브(HDD, hard disk drive), 솔리드 스테이트 디스크(SSD, solid state disk), eMMC(embedded multi media card), UFS(universal flash storage)와 같은 불휘발성 매체(medium)를 더 포함할 수 있다.
통신 회로(430)는 단말 또는 서버와 외부 전자 장치(예: 단말은 서버로, 서버는 단말로)간의 유선 또는 무선 통신 연결의 수립, 및 수립된 연결을 통한 통신 수행을 지원할 수 있다. 일 실시 예에 따르면, 통신 회로(430)는 무선 통신 회로(예: 셀룰러 통신 회로, 근거리 무선 통신 회로, 또는 GNSS(global navigation satellite system) 통신 회로) 또는 유선 통신 회로(예: LAN(local area network) 통신 회로, 또는 전력선 통신 회로)를 포함하고, 그 중 해당하는 통신 회로를 이용하여 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크 또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크와 같은 원거리 통신 네트워크를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 회로(430)는 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
디스플레이(440)는, 컨텐츠, 데이터, 또는 신호를 출력할 수 있다. 다양한 실시 예들에서, 디스플레이(440)는 프로세서(410)에 의해 가공된 이미지 데이터를 표시할 수 있다. 실시예들에 따라, 디스플레이(440)는 터치 입력 등을 수신할 수 있는 복수의 터치 센서들(미도시)과 결합됨으로써, 일체형의 터치 스크린(touch screen)으로 구성될(configured with) 수도 있다. 디스플레이(440)가 터치 스크린으로 구성되는 경우, 복수의 터치 센서들은, 디스플레이(440) 위에 배치되거나, 디스플레이(440) 아래에 배치될 수 있다.
(실시예 8-1) 영상 처리 방법에 있어서, 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 단계(S110); 상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 단계(S120); 및 상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 단계(S130); 를 포함할 수 있다.
도 5를 참조하면, S110 단계에서 서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 산출할 수 있다.
S120 단계에서 복수개의 영상 프레임의 깊이 정보를 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장할 수 있다.
S130 단계에서 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성할 수 있다.
S110 단계 내지 S130 단계는 하나의 장치에서 또는 복수의 장치에서 수행될 수 있다. 예를 들어, 서버는 S110 단계 내지 S130 단계를 모두 수행할 수 있다. 다른 예를 들어, 단말은 S110 단계 내지 S130 단계를 모두 수행할 수 있다. 또 다른 예를 들어, 서버에서 S110 단계 및 S120 단계를 수행하고, S130 단계는 단말에서 수행될 수도 있다. 위의 예시들에 한정되는 것은 아니고 서로 다른 구성이 서로 다른 단계를 수행할 수 있다.
실시예에 따르면, S110 단계 내지 S130 단계는 도 4에 도시된 구성들을 통해 수행될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다
100: 영상 처리 장치
110, 210, 310: 영상 프레임 생성부
120, 220, 320: 깊이 정보 처리부
200, 300: 서버
240, 330: 통신부
340: 단말
410: 프로세서
420: 메모리
430: 통신 회로
440: 디스플레이
110, 210, 310: 영상 프레임 생성부
120, 220, 320: 깊이 정보 처리부
200, 300: 서버
240, 330: 통신부
340: 단말
410: 프로세서
420: 메모리
430: 통신 회로
440: 디스플레이
Claims (11)
- 영상 처리 장치에 있어서,
서로 다른 특징과 관련된 복수의 시점의 복수개의 영상 프레임을 생성하는 영상 프레임 생성부;
상기 복수개의 영상 프레임의 깊이 정보를 상기 복수개의 영상 프레임의 동일 시점의 깊이 순서로서 저장하는 깊이 정보 처리부; 및
상기 복수개의 영상 프레임을 깊이 정보를 기초로 합성하여 합성 영상을 생성하는 합성 영상 생성부; 를 포함하고,
상기 영상 프레임 생성부는
상기 복수개의 영상 프레임 중 배경과 관련된 영상 프레임 및 사물과 관련된 영상 프레임을 구분하고,
상기 사물과 관련된 영상 프레임은 사물이 존재하지 않는 픽셀의 픽셀 값을 투명함을 나타내는 값으로 설정하는 영상 처리 장치.
- 청구항 1에 있어서,
상기 서로 다른 특징은
캐릭터와 관련된 특징 또는 배경 중 어느 하나를 포함하는 영상 처리 장치.
- 청구항 1에 있어서,
상기 합성 영상 생성부는
상기 깊이 순서를 기초로 상기 깊이 순서가 먼저인 영상 프레임부터 픽셀 값을 기록하여 상기 합성 영상을 생성하는 영상 처리 장치.
- 청구항 3에 있어서,
상기 합성 영상 생성부는
상기 깊이 순서가 먼저인 영상 프레임부터 픽셀 값을 기록하되, 픽셀 값이 기록 되어있지 않은 픽셀에 상기 픽셀 값을 기록하는 영상 처리 장치.
- 청구항 1에 있어서,
상기 복수의 영상 프레임은 한 시점에서는 한 카메라로부터 촬영되어 생성되는 영상 처리 장치.
- 삭제
- 청구항 1에 있어서,
상기 합성 영상 생성부는
상기 복수의 영상 프레임에 포함된 픽셀의 픽셀 값이 상기 투명함을 나타내는 값이 아닌 경우에 상기 깊이 정보를 기초로 합성하여 상기 합성 영상을 생성하는 영상 처리 장치.
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220089562A KR102550216B1 (ko) | 2022-07-20 | 2022-07-20 | 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법 |
| KR1020230049652A KR20240012276A (ko) | 2022-07-20 | 2023-04-14 | 영상을 제작을 위한 서버 및 영상 처리 시스템 |
| KR1020230049671A KR20240012277A (ko) | 2022-07-20 | 2023-04-14 | 배경과 사물을 구분하여 영상을 합성하는 영상 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220089562A KR102550216B1 (ko) | 2022-07-20 | 2022-07-20 | 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230049652A Division KR20240012276A (ko) | 2022-07-20 | 2023-04-14 | 영상을 제작을 위한 서버 및 영상 처리 시스템 |
| KR1020230049671A Division KR20240012277A (ko) | 2022-07-20 | 2023-04-14 | 배경과 사물을 구분하여 영상을 합성하는 영상 처리 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102550216B1 true KR102550216B1 (ko) | 2023-06-29 |
Family
ID=86946085
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220089562A KR102550216B1 (ko) | 2022-07-20 | 2022-07-20 | 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법 |
| KR1020230049652A KR20240012276A (ko) | 2022-07-20 | 2023-04-14 | 영상을 제작을 위한 서버 및 영상 처리 시스템 |
| KR1020230049671A KR20240012277A (ko) | 2022-07-20 | 2023-04-14 | 배경과 사물을 구분하여 영상을 합성하는 영상 처리 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230049652A KR20240012276A (ko) | 2022-07-20 | 2023-04-14 | 영상을 제작을 위한 서버 및 영상 처리 시스템 |
| KR1020230049671A KR20240012277A (ko) | 2022-07-20 | 2023-04-14 | 배경과 사물을 구분하여 영상을 합성하는 영상 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (3) | KR102550216B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050082764A (ko) | 2004-02-20 | 2005-08-24 | 삼성전자주식회사 | 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치 |
| KR20080034419A (ko) | 2007-11-23 | 2008-04-21 | 야파 코포레이션 | 3ｄ 영상 생성 및 디스플레이 시스템 |
| KR20150058457A (ko) * | 2012-09-21 | 2015-05-28 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
| KR20150111197A (ko) | 2014-03-25 | 2015-10-05 | 삼성전자주식회사 | 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법 |
| KR20160009487A (ko) | 2014-07-16 | 2016-01-26 | 삼성전자주식회사 | 3d 영상 디스플레이 장치 및 방법 |
| KR20220013347A (ko) * | 2020-07-24 | 2022-02-04 | 주식회사 컴플렉시온 | 인공지능에 기반한 사용자 동작 인식을 이용한 체육 교육 관리 및 평가 시스템 |
-
2022
- 2022-07-20 KR KR1020220089562A patent/KR102550216B1/ko active IP Right Grant
-
2023
- 2023-04-14 KR KR1020230049652A patent/KR20240012276A/ko not_active Application Discontinuation
- 2023-04-14 KR KR1020230049671A patent/KR20240012277A/ko not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050082764A (ko) | 2004-02-20 | 2005-08-24 | 삼성전자주식회사 | 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치 |
| KR20080034419A (ko) | 2007-11-23 | 2008-04-21 | 야파 코포레이션 | 3ｄ 영상 생성 및 디스플레이 시스템 |
| KR20150058457A (ko) * | 2012-09-21 | 2015-05-28 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
| KR20150111197A (ko) | 2014-03-25 | 2015-10-05 | 삼성전자주식회사 | 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법 |
| KR20160009487A (ko) | 2014-07-16 | 2016-01-26 | 삼성전자주식회사 | 3d 영상 디스플레이 장치 및 방법 |
| KR20220013347A (ko) * | 2020-07-24 | 2022-02-04 | 주식회사 컴플렉시온 | 인공지능에 기반한 사용자 동작 인식을 이용한 체육 교육 관리 및 평가 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240012277A (ko) | 2024-01-29 |
| KR20240012276A (ko) | 2024-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI619088B (zh) | 圖像資料處理系統和相關方法以及相關圖像融合方法 | |
| CN107204031B (zh) | 信息展示方法及装置 | |
| JP5891425B2 (ja) | 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム | |
| EP3681144B1 (en) | Video processing method and apparatus based on augmented reality, and electronic device | |
| CN112804459A (zh) | 基于虚拟摄像头的图像展示方法、装置、存储介质及电子设备 | |
| WO2014052437A1 (en) | Encoding images using a 3d mesh of polygons and corresponding textures | |
| AU2013273829A1 (en) | Time constrained augmented reality | |
| KR20200052846A (ko) | 데이터 처리 시스템 | |
| KR20160108158A (ko) | 3차원 배경 콘텐트를 합성하는 방법 및 디바이스 | |
| JP6799017B2 (ja) | 端末装置、システム、プログラム及び方法 | |
| CN109448050B (zh) | 一种目标点的位置的确定方法及终端 | |
| US10134137B2 (en) | Reducing storage using commonalities | |
| CN108364324B (zh) | 图像数据处理方法、装置及电子终端 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| US10650488B2 (en) | Apparatus, method, and computer program code for producing composite image | |
| US20220343583A1 (en) | Information processing apparatus, 3d data generation method, and program | |
| KR102550216B1 (ko) | 영상 처리 장치, 서버, 영상 처리 시스템, 영상 처리 방법 | |
| US20230022344A1 (en) | System and method for dynamic images virtualisation | |
| US20230056599A1 (en) | System and method for rendering a design including a dynamic design element | |
| TWI817273B (zh) | 即時多視像視訊轉換方法和系統 | |
| RU2810701C2 (ru) | Гибридный рендеринг | |
| JP7378960B2 (ja) | 画像処理装置、画像処理システム、画像生成方法、および、プログラム | |
| WO2024087971A1 (zh) | 用于图像处理的方法、装置及存储介质 | |
| TWM652484U (zh) | 線上整合擴增實境的快速上稿服務裝置 | |
| CN117097983A (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |