KR101639589B1 - 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 방법 및 장치 - Google Patents
제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR101639589B1 KR101639589B1 KR1020147036889A KR20147036889A KR101639589B1 KR 101639589 B1 KR101639589 B1 KR 101639589B1 KR 1020147036889 A KR1020147036889 A KR 1020147036889A KR 20147036889 A KR20147036889 A KR 20147036889A KR 101639589 B1 KR101639589 B1 KR 101639589B1
- Authority
- KR
- South Korea
- Prior art keywords
- video signal
- video
- signal
- mixing
- depth information
- Prior art date
Links
- 238000002156 mixing Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims abstract description 53
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 241000208818 Helianthus Species 0.000 description 7
- 235000003222 Helianthus annuus Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 239000005357 flat glass Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000278713 Theora Species 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 방법으로서, 상기 방법은 믹싱 디바이스에서 제 1 비디오 신호를 수신하는 단계; 제 2 비디오 신호를 수신하는 단계; 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 제 1 비디오 신호와 제 2 비디오 신호 사이의 공간적 관계를 나타내는 변환 정보를 수신하는 단계; 변환 정보 신호에 따라 제 2 비디오 신호를 변환하는 단계; 및 제 1 비디오 신호의 불투명한 영역을 변환된 제 2 비디오 신호의 부분과 조합하는 단계를 포함하고, 변환된 제 2 비디오 신호의 부분은 제 1 비디오 신호의 투명한 영역에 렌더링된다.
Description
본 발명은 비디오 처리의 분야에 관한 것이고, 특히 비디오 신호들을 믹싱하는 분야에 관한 것이다.
다수의 알려진 멀티미디어 편집 툴들은 몇몇 형태의 비디오 오버레이 기능을 제공한다. 이들 기능들은 사용자가 비디오상에 텍스트, 비디오상에 픽처, 비디오상에 포토, 비디오상에 비디오(PIP), 또는 비디오상에 그래픽들을 오버레이하는 것을 허용한다.
알려진 해결책들은 층상 방식을 사용하고, 여기서 상이한 멀티 미디어 포맷들이 서로의 상부상에 계층들로 나타난다. 일단 결과의 비디오가 인코딩되면, 계층들은 더 이상 개별적으로 이용가능하지 않다. 상이한 카메라 앵글이 입체 또는 다중 뷰 3D에 대해 필요될 때, 하나 이상의 상이한 비디오 스트림들이 생성될 필요가 있고 결과의 비디오들이 하나로 인코딩될 필요가 있다.
본 발명의 실시예들의 목적은 상기 언급된 불리한 점들 중 일부를 극복하는 것이다.
본 발명의 일 양태에 따라, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 방법이 제공되고, 상기 방법은 믹싱 디바이스에서: 제 1 비디오 신호를 수신하는 단계; 제 2 비디오 신호를 수신하는 단계; 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 제 1 비디오 신호와 제 2 비디오 신호 사이의 공간적 관계를 나타내는 변환 정보 신호를 수신하는 단계; 변환 정보 신호에 따라 제 2 비디오 신호를 변환하는 단계; 및 제 1 비디오 신호의 불투명한 영역을 변환된 제 2 비디오 신호의 일 부분과 조합하는 단계로서, 변환된 제 2 비디오 신호의 일 부분은 제 1 비디오 신호의 투명한 영역으로 렌더링되는, 상기 조합 단계를 포함한다.
본 발명의 이점은 비디오 신호들의 믹싱이 제 1 비디오 신호와 제 2 비디오 신호 사이의 공간적 관계의 유지와 함께 가능해진다는 것이다. 따라서, 믹스드-인 제 2 비디오 신호가, 팬, 틸트, 및 줌 변환들, 투사들, 미러링들, (회전 및 편향에 대한) 회전들, 및 카메라 위치의 변경들과 같은 제 1 비디오 신호의 변조들에 따라 적절하게 변환될 것이기 때문에 결과의 믹싱된 비디오는 더 자연스러운 외관을 갖는다.
본 발명에 따른 방법의 일 실시예에서, 변환 단계는 제 1 비디오 스트림의 크기 조정, 시어링, 회전, 반사, 투사, 및 평행 이동 중 하나 이상을 포함한다.
이러한 실시예의 하나의 이점은 1차 비디오 스트림에서 일어나는 가장 공통적인 변환들을 2차 비디오 스트림에 적용될 수 있다는 것이다.
일 실시예에서, 본 발명에 따른 방법은 변환 정보 신호와 연관된 제 1 깊이 정보를 수신하는 단계를 추가로 포함하고, 변환 단계는 제 1 깊이 정보에 따라 3차원 공간에서 수행된다.
일 실시예에서, 본 발명에 따른 방법은 제 2 비디오 신호와 연관된 제 2 깊이 정보를 수신하는 단계를 추가로 포함하고, 변환 단계는 제 2 깊이 정보와 연관된 3차원 공간에서 수행된다.
이들 실시예들의 하나의 이점은, 결과의 믹싱된 비디오가 2차원 비디오 신호로서 나타내는 경우에도, 제 2 비디오 신호의 객체가 표현된 3차원 공간에서 지속적으로 움직일 것이기 때문에, 비디오 신호들의 블렌딩이 더 더욱 자연스러워진다는 것이다. 3D 변환은 제 2 비디오 신호와 연관된 깊이 정보 및/또는 변환 정보 신호에 연관된 깊이 정보에 기초하여 수행될 수 있다. 예를 들면, 제 2 비디오 신호가 2차원 신호(깊이 정보가 없음)로서 제공되는 경우에도, 이는 여전히 변환 정보와 연관된 깊이 정보에 따라 3차원 공간에서 변환된다.
일 실시예에서, 본 발명에 따른 방법은 제 1 비디오 신호와 연관된 제 3 수신 깊이 정보를 추가로 포함한다.
이러한 실시예의 하나의 이점은, 제 2 비디오 신호의 객체가 3차원으로 또한 렌더링될 수 있는, 표현된 3차원 공간에서 지속적으로 움직일 것이기 때문에, 비디오 신호들의 블렌딩이 더 더욱 자연스러워진다는 것이다.
본 발명에 따른 방법의 일 실시예에서, 제 1 비디오 신호 및 변환 정보 신호는 인코딩된 비디오 스트림의 상이한 채널들로서 수신된다.
이러한 실시예의 하나의 이점은 표준화된 다중 채널 인코딩 포맷들이 고유의 믹싱 능력들에 의해 비디오 스트림들의 송신을 위해 사용될 수 있다는 것이다. 이러한 실시예의 다른 이점은 메인 채널(제 1 비디오 신호)와 믹싱 채널(변환 정보 신호) 사이의 시간 동기화가 단순화된다는 것이다.
본 발명의 일 양태에 따라, 실행될 때, 상기 기술된 방법을 수행하도록 구성된 소프트웨어 수단을 포함하는 컴퓨터 프로그램이 제공된다.
본 발명의 일 양태에 따라, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치가 제공되고, 상기 장치는: 제 1 비디오 신호를 수신하기 위한 제 1 비디오 입력 인터페이스; 제 2 비디오 신호를 수신하기 위한 제 2 비디오 입력 인터페이스; 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 제 1 비디오 신호와 제 2 비디오 신호 사이의 공간적 관계를 나타내는 변환 정보를 수신하기 위한 변환 정보 인터페이스; 제 2 비디오 입력 인터페이스 및 변환 정보 인터페이스에 동작가능하게 결합된 변환 프로세서로서, 변환 정보 신호에 따라 제 2 비디오 신호를 변환하도록 구성된, 상기 변환 프로세서; 및 제 1 비디오 인터페이스 및 변환 프로세서에 동작가능하게 결합된 믹싱 프로세서로서, 제 1 비디오 신호의 불투명한 영역을 변환된 제 2 비디오 신호의 일 부분과 조합하도록 구성되고, 변환된 제 2 비디오 신호의 일 부분은 제 1 비디오 신호의 투명한 영역으로 렌더링되는, 상기 믹싱 프로세서를 포함한다.
본 발명에 따른 장치의 일 실시예에서, 변환 프로세서는 제 2 비디오 신호의 크기 조정, 시어링, 회전, 반사, 투사, 및 평행 이동 중 적어도 하나를 적용하도록 구성된다.
본 발명에 따른 장치의 일 실시예에서, 변환 정보 인터페이스는 또한 변환 정보 신호와 연관된 제 1 깊이 정보를 수신하도록 적응되고, 변환 프로세서는 제 1 깊이 정보에 따라 제 2 비디오 신호를 3차원 공간으로 변환하도록 구성된다.
본 발명에 따른 장치의 일 실시예에서, 제 2 비디오 입력 인터페이스는 또한 제 2 비디오 신호와 연관된 제 2 깊이 정보를 수신하도록 적응되고, 변환 프로세서는 제 2 깊이 정보에 따라 제 2 비디오 신호를 3차원 공간으로 변환하도록 구성된다.
본 발명에 따른 장치의 일 실시예에서, 제 1 비디오 입력 인터페이스는 또한 제 1 비디오 신호와 연관된 제 3 깊이 정보를 수신하도록 구성된다.
본 발명의 일 양태에 따라, 상기 기술된 방법에서 사용하기 위한 비디오 스트림이 제공되고, 비디오 스트림은 메인 채널로서 제 1 비디오 신호, 및 추가의 채널로서 변환 정보 신호를 포함한다.
일 실시예에서, 본 발명에 따른 비디오 스트림은 깊이 정보를 추가로 포함한다.
깊이 정보는 제 1 비디오 신호 및/또는 변환 정보 신호에 관련될 수 있다.
본 발명의 일 양태에 따라, 상기 기술되는 비디오 스트림을 제공하도록 구성된 비디오 서버가 제공된다.
본 발명에 따른 장치, 비디오 스트림, 및 서버의 실시예들의 효과들 및 이점들은 본 발명에 따른 방법의 대응하는 실시예들의 효과들 및 이점들과 준용하여 동일하다.
본 발명은 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법 및 장치를 제공한다.
도 1은 본 발명의 일 실시예에 따른 방법의 플로차트.
도 2는 본 발명의 일 실시예에 따른 장치의 개략도.
도 3은 본 발명의 일 예시적인 애플리케이션을 도시하는 도면.
도 4는 본 발명의 일 예시적인 애플리케이션을 도시하는 도면.
도 5는 본 발명의 일 예시적인 애플리케이션을 도시하는 도면.
도 2는 본 발명의 일 실시예에 따른 장치의 개략도.
도 3은 본 발명의 일 예시적인 애플리케이션을 도시하는 도면.
도 4는 본 발명의 일 예시적인 애플리케이션을 도시하는 도면.
도 5는 본 발명의 일 예시적인 애플리케이션을 도시하는 도면.
본 발명의 실시예들에 따른 장치 및/또는 방법들의 몇몇 실시예들이 단지 예로서 첨부하는 도면들을 참조하여 여기에 기술된다.
기존의 비디오상에 픽처를 오버레이하는 방법들에서, 선택된 픽처 포맷들이 투명성을 지원하는 경우(예를 들면, PNG 또는 SWF 포맷), 픽처의 부분들은 투명할 수 있다. 상기 경우에, 픽처 뒤의 비디오는 투명한 영역들을 "비쳐 보일" 수 있다. 오버레잉 툴이 MNG(이동하는 PNG)를 지원하는 경우, 다수의 멀티미디어 포맷들이 오버레이될 수 있고, MNG 비디오에서 투명한 영역들은 아래에 놓인 멀티미디어 포맷들이 비쳐보도록 허용할 것이다. 현재의 브라우저들이 MNG를 지원하기 때문에, 비디오상의 (동기화되지 않은) MNG 비디오 오버레이는 현재 일반적인 레벨에서 지원된다.
기존의 해결책들은 2차 라이브 (3D) 비디오 스트림이 제 1 (3D) 비디오 스트림에 대해 깊이를 갖고 오버레이되도록 허용하지 않는다. 따라서, 제 2 (3D) 비디오 스트림이 가시적이 되는 제 1 비디오 스트림에서, -알파 및 깊이에 의해- 정적 또는 동적 3D 영역을 규정하는 것이 가능하지 않다.
비디오와 같은 2D 또는 3D 멀티미디어 포맷들의 주요 구성 요소들은 컬러 정보(예를 들면, RGB, YUV 또는 HSV), 깊이 정보(일반적으로, 스칼라 또는 "그레이 스케일" 값), 및 투명도 또는 "알파" 정보(또한 스칼라 또는 "그레이 스케일" 값)이다. 본 발명의 실시예들은 비디오 스트림들의 전술된 실시간 끊김 없는 믹싱이 이러한 멀티미디어 포맷들로 추가의 정보 채널들을 포함시킴으로써 가능하게 행해질 수 있다는 통찰에 기초한다.
본 발명이 적용가능한 멀티미디어 포맷들은, PNG, GIF, JPG, TIFF, RIFF, WebP, SVG, 및 BMP을 제한 없이 포함하는 정지 이미지 인코딩/컨테이너 포맷들, 및 MNG, 동영상으로 된 GIF, MPEG, AVI, WMV, MOV, RM, 3GP, VP8, WebM, Theora, Ogg, 및 OGM을 제한 없이 포함하는 움직이는 이미지 인코딩/컨테이너 포맷들이다. 비디오 인코딩에 대한 참조가 행해지고 , H.264와 같은 코드들, HEVC, 및 본 기술의 숙련자에게 알려진 다른 코덱들이 사용될 수 있다.
본 발명의 실시예들은 그 중에서도 제 1 멀티미디어 포맷에 각각이 컬러, 깊이 및 투명도 정보를 포함하는 채널들의 어레이를 포함하고, 다른 독립적인 소스로부터 수신된 제 2 멀티미디어 포맷이 믹스 인(블렌드 인)되도록 허용되는 상기 제 1 멀티미디어 포맷에서 각각의 채널이 고유한 영역을 규정하는 것이 이롭다는 발명자들의 통찰에 기초한다. 따라서, 본 발명의 실시예들은 실시간으로 클라이언트 측에서의 믹싱을 가능하게 한다. 그러나, 본 발명은 또한, 서버측에, 예를 들면, 코어 네트워크 또는 액세스 네트워크에 상주하는 비디오 서버상에서, 믹싱하는 것을 가능하게 하도록 적용될 수 있다. 각각의 채널의 컬러, 깊이, 및 투명도 정보는 추가로 수학적인 2D 또는 3D 영역으로서, 조각된 3D 영역으로서, 또는 임의의 다른 실행가능한 2D/3D 영역 규정으로서 규정될 수 있다.
이해의 용이함을 위해, 투명한 부분들을 포함하는 비디오 스트림은 이후 "1차 비디오 스트림"으로서 지정될 것이고, 상기 투명한 부분들에 나타날 가시적 정보를 포함하는 스트림(들), 즉, 제 1 비디오 스트림 "뒤에" 보여지고 후자의 투명한 영역들이 비쳐 보이는 스트림(들)은 "2차 비디오 스트림(들)"로서 지정될 것이다. "2차 비디오 스트림"이 단일 형태로 사용될 때, 이는 다수의 2차 비디오 스트림들이 믹스 인되는 실시예들을 배제하는 것이 의도되지 않는다.
용어들 "1차 비디오 스트림" 및 "2차 비디오 스트림"은 일반성의 손실 없이 사용될 수 있고, 특히 2차 비디오 스트림이 또한 다른 (낮은 차수의) 스트림들의 도입을 위해 투명한 영역들을 포함하는 "적층" 또는 반복 사용을 제외하지 않는다. 또한, 용어 "비디오"의 사용은 시간에 걸쳐 변경되지 않고 유지하는 입력 피드들(즉, 정지 이미지를 나타내는 피드들)을 배제하지 않는다. 따라서, 본 발명은 또한 1차 비디오 스트림 및/또는 2차 비디오 스트림이 사실상 적절한 포맷의 정지 이미지로 표현되는 실시예들을 포함한다.
1차 비디오 스트림은 이하에 "제 1 비디오 신호"라고도 또한 불리는 실제 이미지 컬러 정보를 나타내는 메인 채널을 포함한다. 2차 비디오 스트림은 또한 이후 "제 2 비디오 신호"라고도 또한 불리는, 실제 이미지 컬러 정보를 나타내는 메인 채널을 또한 포함한다.
2차 비디오 스트림의 삽입이 발생할 수 있는 1차 비디오 스트림에서 고유한 영역들을 규정하는 추가의 채널들은 "믹싱 채널들"로서 지정될 것이다. 1차 스트림과 믹싱-인 2차 스트림의 원하는 기하학적 관계를 획득하기 위해 요청된 변환을 규정하기 때문에, 더 추상적인 레벨에서, 이들 채널들은 또한 "변환 정보 (신호들)"이라고도 불릴 것이다; 특히, 변환 정보는 앵커링 정보, 즉, 믹싱-인 2차 스트림이 1차 스트림에 고정된 장소를 규정하는 정보를 포함한다. 변환 정보 신호는 바람직하게는 동일한 스트림에서 개별적인 채널로서 비디오 신호와 함께 공급되지만, 이는 요구되지는 않는다; 변환 정보는 또한 임의의 적절한 수단에 의해 개별적으로 제공될 수 있다. 변환 정보 신호는 동적이거나 정적일 수 있고, 즉, 이는 비디오 배경 또는 정지 이미지에서 움직이는 영역으로서 제공될 수 있다.
본 발명의 실시예들의 이점은 변환 정보를 발견한 명령들 및 클라이언트(시청자)로부터의 선택적인 명령들을 사용하여 1차 비디오 신호가 하나 이상의 2차 비디오 신호들과 자체적으로 믹싱될 수 있는 플랫폼이 제공될 수 있고, 상이한 신호들이 상이한 (분산된) 소스들로부터 발생될 수 있고, 합성의 최종 결과는 중앙 디렉터에 의해 미리 결정되지 않는다는 것이다. 시스템의 (분산된) 실시간 거동 때문에, 단지 허가된 합성들의 구조만이 1차 스트림의 창작자에 의해 규정되고, 합성의 최정 결과는 규정되지 않는다.
2차 스트림의 변환 및 1차 스트림과 그의 조합이 단지 가시적인 2차 스트림의 일 부분을 초래한다는 것은 설명으로부터 명백할 것이다. 특히, 2차 스트림의 부분들은 2차 스트림의 상부에 위치된 계층인 것처럼 렌더링되는 1차 스트림의 불투명한 부분들에 의해 덮일 수 있다. 또한, 요청된 변환은, 원래의 2차 스트림의 특정 부분들을 통제 시점(일반적으로 수평 및 수직 방향으로 고정된 수의 픽셀들을 갖는 직사각형) 밖에 놓인 좌표들로 투사할 수 있는 업스케일링, 이동, 및 회전과 같은 변환을 포함할 수 있다.
본 발명의 일 실시예에 따라, 도 1은 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법을 도시하고, 상기 방법은 믹싱 디바이스에서: 제 1 비디오 신호를 수신하는 단계(101); 제 2 비디오 신호를 수신하는 단계(102); 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 제 1 비디오 신호와 제 2 비디오 신호 사이의 공간적 관계를 나타내는 변환 정보 신호를 수신하는 단계(103); 변환 정보 신호에 따라 제 2 비디오 신호를 변환하는 단계(110); 및 제 1 비디오 신호의 불투명한 영역을 변환된 제 2 비디오 신호의 일 부분과 조합하는 단계(120)로서, 상기 변환된 제 2 비디오 신호의 상기 부분은 제 1 비디오 신호의 투명한 영역에 렌더링되는, 상기 조합 단계를 포함한다.
변환 정보는 제 1 비디오 스트림 및 제 2 비디오 스트림이 일치하는 공간적 상호 관계를 갖고 믹싱될 수 있고, 바람직하게는 시간상 동기화될 수 있다는 것을 보장한다. 수학적으로, 변환 정보는 "원점" 및 1차 비디오 스트림으로 표현된 공간에 고정되는 기준 프레임에 대한 일 세트의 기저 벡터들로서 생각될 수 있다.
변환 정보는, 예를 들면, 크기 조정, 사이징, 크롭핑, 미러링, 스큐잉, 회전 및 필터링에 대한 특징들을 규정하는 하나 이상의 할당된 속성들을 포함할 수 있다. 할당된 필터는 믹싱 전에 2차 채널(들)로부터의 비디오 신호에 적용될 수 있다.
바람직하게는, 제 1 비디오 신호 및 변환 정보 신호는 1차 비디오 스트림의 메인 채널 및 믹싱 채널 각각으로서 제공된다. 특정한 경우에, 1차 비디오 스트림은 투명한 영역들만을 포함하고, 따라서 단순히 임의의 수의 믹싱 채널들에 대한 컨테이너이다.
본 발명의 실시예들에서, 믹싱 채널들은 수학적 영역들로서 나타낸다. 이들 영역들은 3D 비디오에서 절대 또는 상대 위치들과 조합된 전용 식별자들 또는 수학식들로서 규정될 수 있다. 예들은 2D 구분적 상수 함수, 및 2D 평면 경사도이다. 이러한 영역들은 단일 컬러 및 단일의 투명도 값이 할당받을 수 있다. 다른 실시예에서, 컬러 및 투명도 값이 제공되지 않아서, 수신기는 이들 영역들에 대하여 100% 투명도까지 떨어질 것이다. 다른 실시예에서, 하나 이상의 컬러 및 투명도 경사도들이 제공될 수 있다.
본 발명의 일 실시예에 따라, 도 2는 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 장치(200)를 도시하고, 상기 장치는: 제 1 비디오 신호를 수신하기 위한 제 1 비디오 입력 인터페이스(201); 제 2 비디오 스트림을 수신하기 위한 제 2 비디오 입력 인터페이스(202); 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 제 1 비디오 신호와 제 2 비디오 신호 사이의 공간적 관계를 나타내는 변환 정보 신호를 수신하기 위한 변환 정보 인터페이스(203); 제 2 비디오 입력 인터페이스(202) 및 변환 정보 인터페이스(203)에 동작가능하게 결합된 변환 프로세서(210)로서, 변환 정보 신호에 따라 제 2 비디오 신호를 변환하도록 구성되는, 상기 변환 프로세서(210); 및 제 1 비디오 인터페이스(201) 및 변환 프로세서(210)에 동작가능하게 결합된 믹싱 프로세서(220)로서, 제 1 비디오 신호의 불투명한 영역을 변환된 제 2 비디오 신호의 일 부분과 조합하도록 구성되고, 변환된 제 2 비디오 신호의 상기 부분은 제 1 비디오 신호의 투명한 영역으로 렌더링되는, 상기 믹싱 프로세서(220)를 포함한다.
다수의 인터페이스들(201, 202, 2023)이 상기에 인용되었지만, 이는 일반성의 손실 없이 수행되고, 이는 동일한 인터페이스가 수 개의 기능들을 이용하기 위해 사용되는 실행들을 배제하지 않는다. 용어 "인터페이스"는, 본 기술의 숙련자에게 잘 알려진, 소프트웨어 플랫폼(예를 들면, 애플리케이션 프로그래밍 인터페이스(API))의 상이한 부분들 사이, 저장 매체와 소프트웨어 플랫폼 사이, 또는 통신 네트워크에서 노드들 사이에 데이터 통신을 확립하기 위해 요청된 필수적인 하드웨어 및 소프트웨어를 나타낸다. 바람직하게는, 표준화된 프로토콜들이 사용된다. 가입자 액세스 네트워크에서, 액세스 인터페이스는, 예를 들면, xDSL, xPOS, WMAN 또는 3G 링크에 대한 인터페이스를 포함할 수 있다. LAN 인터페이스는, 예를 들면, IEEE 802.3 "이더넷" 링크, IEEE 802.11 "무선 LAN" 링크 중 하나 이상에 대한 인터페이스를 포함할 수 있다. PAN 인터페이스는, 예를 들면, USB 인터페이스 또는 블루투스 인터페이스를 포함할 수 있다.
변환 정보 신호는 바람직하게 다수의 채널들의 번들링을 허용하는 비디오 인코딩 방식을 사용하여, 하나 이상의 믹싱 채널들의 형태로 제 1 비디오 신호와 번들링된다.
도 3은 예시적인 애플리케이션을 개략적으로 도시하고, 장치(200)는 제 1 비디오 서버(300)로부터 제 1 인터페이스(201/203)를 통해 1차 비디오 스트림을 수신하도록 구성된다. 본 발명에 따라, 제 1 비디오 서버(300)는 제 1 비디오 신호 및 변환 정보 신호를 포함하는 1차 비디오 스트림을 메인 채널 및 믹싱 채널로서 각각 제공한다. 장치(200)는 또한 제 2 비디오 서버(310)로부터 제 2 인터페이스(202)를 통해 2차 비디오 스트림을 수신하도록 구성된다. 제 2 비디오 서버(310)는 또한 2차 비디오 스트림에 하나 이상의 믹싱 채널들을 포함하도록 구성될 수 있지만, 이는 요청되지는 않는다. 장치(200)에서, 수신된 비디오 스트림들이 디코딩되고, 2차 비디오 스트림으로부터 추출된 제 2 비디오 신호는 상기 기술된 바와 같이 변환되고, 믹싱된 비디오 신호는 제 1 비디오 신호 및 변환된 제 2 비디오 신호에 기초하여 변환 정보에 따라 생성된다.
믹싱 영역들의 정렬은 자동으로 또는 (실시간) 사용자 입력상에서 수행될 수 있다. 하나보다 많은 믹싱 영역이 이용가능할 때, 영역의 선택은 자동으로 또는 (실시간) 사용자 입력으로 수행될 수 있다. 제 2 비디오 신호의 추가의 처리는 사용자에 의해 선택적으로 활성화 및/또는 동조될 수 있다.
본 발명에 따른 방법들 및 장치는, 예를 들면, 운동 시차를 지원하기 위해 2D 멀티미디어 포맷들에 대하여 사용될 수 있다. 실제로, 예를 들면, 다른 비디오 기록(제 2 멀티미디어 포맷)에서 사람의 정적 위치와 믹싱된 예를 들면, 비디오 기록(제 1 멀티미디어 포맷)에서 투명한 창문(집 또는 사무실 빌딩에서)의 위치 변경은 사람이 제 1 비디오 기록에서 카메라의 이동에 관하여 움직이게 할 것이다.
바람직하게는 믹싱 채널의 형태인 변환 정보는 창문의 2D 영역을 투명한 것과 창문 바로 뒤에 큰 3D 영역으로서 규정할 수 있다. 이러한 2D 비디오가 2차 2D 또는 3D 비디오와 믹싱될 때, 2차 비디오는 1차 비디오의 카메라의 시점에 의존하여 상이한 위치에서 믹싱될 것이다.
1차 비디오가 상호작용하지 않는 비디오 스트림인 경우(예를 들면, 종래의 영화), 카메라의 시점은 공급된 비디오 스트림에 의해 암시된다. 실시간으로 생성된 콘텐트에 대해 동일하고, 여기서 (인간 또는 자동화된) 디렉터가 캡처되어야 하는 것에 관한 모든 선택들을 행한다. 그러나, 본 발명은 또한, 조합된 비디오 스트림의 시청자인, 최종 사용자가 카메라의 시점을 통해 제어하는 상황들에 적용한다. 이러한 제어는, 가상 현실의 분야에서 알려진 바와 같이, 이들 움직임들이 적절한 센서들에 의해 캡처되어야 하는 경우, 종래의 사용자 인터페이스들(마우스 및/또는 키보드, 제스처 검출, 등)에 의해, 또는 디스플레이 앞의 물리적 공간에서 시청자의 실제 움직임들에 의해 수행될 수 있다.
도 4는 일 예시적인 애플리케이션에 의해 이러한 효과를 개략적으로 도시한다. 1차 비디오 스트림은 문(410) 및 창문(420)을 갖는 앞벽에 의해 범위가 정해진 집(400) 내부의 사진이다. 숙련자는 집이 대안적으로 집처럼 보이도록 배열된 스튜디오, 또는 적절한 컴퓨터 생성된 3D 풍경의 렌더링일 수 있다는 것을 인식할 것이다. 문(410)은 투명한 판유리(410a)를 구비하고, 창문(420)은 가상의 "외부 풍경"이 보여질 수 있는 투명한 판유리들(420a 내지 420d)을 구비한다. "외부 풍경"은 도 4의 오른쪽의 상면도에서 빗금친 직사각형으로, 및 도 4의 왼쪽 위의 뷰A에서 점선들로 그려진 직사각형으로 표현되는 영역(450)으로 제한된다.
이러한 설정에서, 집 바로 외부에 규정된 공간 영역(450)과 투명한 영역들(410a, 420a-d)의 조합은 2차 비디오 스트림으로부터의 콘텐트가 믹싱될 수 있는 믹싱 영역을 규정한다. 이러한 믹싱 영역은 바람직하게는 하나 이상의 믹싱 채널들의 형태로 제공되는 변환 정보에 의해 특정된다. 도시된 예에서, 2차 비디오 스트림은 바람에 움직이는 하나의 해바라기(430)의 이미지를 포함하여 제공된다. 일반적으로, 2차 스트림은 3D 스트림(깊이 정보를 갖는 비디오 신호) 또는 2D 스트림일 수 있다.
본 발명에 따라, 변환 정보는 2차 스트림을 1차 스트림에 공간적으로 결합하기 위해 사용될 것이다. 이렇게 특정한 경우에, 외부 풍경의 해바라기(430)는 믹싱 영역(450)에 관하여 고정점에 있을 것이다. 외부 풍경이 2D 스트림으로서 제공되는 경우, 1점 쇄선 투사 라인(460)의 위치에서 직사각형 스크린으로서 풍경에 도입된다. 원래의 2차 스트림은 1차 비디오 스트림을 제어하는 시점에서 보여지는 "직사각형"의 기하학 구조에 따르도록 크기 조정 및/또는 변환되어야 하고, 특히, 직사각형 형태들은 사다리꼴들로 변환될 수 있다는 것이 주의되어야 한다. 외부 풍경이 3D 스트림으로써 제공되는 경우, 그의 콘텐트들이 믹싱 영역(450)에 의해 규정된 깊이의 경계들 내에 속하는 한 3차원들로 정확하게 렌더링된다. 그의 투명한 영역들(410a, 420a 내지 420d)을 갖는 1차 비디오 신호는 이후 오버레이로서 외부 풍경의 상부에 위치되고, 창문 및 문 판유리들을 통해 보이는 외부 풍경의 적절한 부분을 갖는 집 내부를 보여준다.
뷰의 그들 각각의 방향들을 갖는 세 개의 예시적인 카메라 위치들(A, B, C)이 도 4의 우측 상부에 도시된다. 도 4의 좌측의 세 개의 뷰들은 이들 카메라 위치들에 대응한다. 뷰(A)는 집의 앞벽(400F)의 중앙 쪽에 직각으로 향하는 카메라에 의해 찍힌 뷰를 나타낸다. 해바라기(400)는 크기 조정 외의 다른 왜곡 없이 판유리들(420a, 420c)을 통해 완전히 가시적이다. 뷰(B)는 뷰(A)의 카메라의 약간 오른쪽에 있는 카메라에 의해 취해진 뷰이고, 카메라는 더 왼쪽 벽(400L) 쪽으로 향해진다.
따라서, 해바라기(430)의 이미지는 창문(420)의 에지들에 대해 오른쪽으로 이동할 것이다. 해바라기(430)의 일 부분은 판유리들(420a, 420c)을 통해 여전히 보일 수 있고, 나머지는 판유리들(420b, 420d)로 이동한다. 뷰(C)는 뷰(A)의 카메라의 약간 오른쪽에 있는 카메라에 의해 찍힌 뷰를 나타내고, 카메라는 더 오른쪽 벽(400R) 쪽으로 향해진다. 따라서, 해바라기(430)의 이미지는 창문(420)의 이미지에 관하여 왼쪽으로 이동할 것이다. 단지 해바라기(430)의 일 부분은 판유리들(420a, 420c)을 통해 여전히 보일 수 있고, 나머지는 여기서 앞벽(400F)에 의해 뷰로부터 차단된다.
바람직하게는, 믹싱 채널들은 컬러 정보, 깊이 정보, 및 투명도 정보 중 하나 이상을 포함한다. 믹싱 채널이 컬러 정보를 포함하지 않는 경우, 믹싱 비디오 스트림의 적절한 렌더링을 위해 요구되는 컬러 정보는 제 1 비디오 스트림과 믹싱되는 2차 비디오 스트림들에 의해 제공될 것이다. 컬러 정보가 제공되는 경우, 2차 비디오 스트림들의 컬러 정보와 함께 그의 투명도의 레벨에 따라 믹싱될 것이다.
1차 및 2차 비디오 스트림들에서 메인 및 믹싱 비디오 채널들은 반드시 동일한 크기여야 하는 것은 아니다. 따라서, 메인 채널 및 믹싱 채널의 각각 또는 채널들은 2차원 또는 3차원일 수 있다.
또한, 메인 채널 및 믹싱 채널의 각각 또는 채널들은 하나 이상의 시점들을 포함할 수 있다. 도 4의 예에서, 세 개의 카메라 시점들(A, B, C)은 1차 비디오 스트림에 포함될 수 있다. 2차 비디오는 사용자가 1차 비디오에 대해 선택하는 시점 지점에 의존하여 상이한 위치에 믹싱될 것이다. 이러한 기술은 1차 채널이 움직이는 이미지 대신에 정지 이미지인 경우들에 또한 적용될 수 있다.
다른 실시예에서, 3D 2차 비디오는 3D로 디스플레이될 수 있고 동시에 단일시점 2D 1차 비디오는 2D로 유지된다.
본 발명의 다른 예시적인 애플리케이션은 상이한 3D 투명한 영역들이 테이블 주변에 제공되는 룸의 3D 비디오이다. 멀리 위치된 개별적인 사용자들의 (3D) 비디오 스트림들(백그라운드 제거를 갖는)은 이후 투명한 영역들로 블렌딩될 수 있다. 선택된 시점에 의존하여, 몇몇 참여자들의 테이블 및 비디오 스트림들은 부분적으로 또는 완전히 다른 참여자들 중 몇몇의 앞에 있을 것이다. 이는 테이블 또는 사람이 부분적으로 완전한 사람의 뷰를 부분적으로 막는, 예를 들면 테이블 아래의 사람의 다리들과 같이 실세계와 유사하다.
도 5는 본 발명의 이러한 일 예시적인 애플리케이션을 도시하고, 믹싱 영역은 실린더(510)에 의해 나타내고, 하부 절반의 앞면 절반이 제거된다. 하나 이상의 이러한 믹싱 영역들(501, 502, 503)은 테이블 주위에 쉽게 위치될 수 있어서, 상부 절반에서 나머지 앞면 절반은 테이블(500)상에 위치되고 동시에 전체 후면 절반은 테이블(500) 뒤에 위치된다. 예를 들면, 테이블에 앉아있는 사람의 2차 비디오가 1차 비디오에 맞춰 조정될 때, 그가 테이블에 기대있을 때조차 2차 비디오에서 사람의 3D 이미지는 1차 비디오의 테이블(500)에 앉아있는 것으로 나타날 것이다. 완전한 조정이 있을 때, 2차 비디오에서 테이블 상에 있는 신문들 또는 아이템들은 또한 믹싱된 비디오에서 보일 것이다.
본 발명의 환경에서, 특히 도 5에 도시된 실시예를 고려하여, 사용자들이 테이블에 마주하는 그들의 대응물들의 이미지들을 위치시키기 위해 2차 신호(들)를 수동으로 회전시킬 것을 요청하는 것이 바람직하지 않다. 이로운 실시예에서, 따라서, 하나 이상의 채널들은 자동 조정을 용이하게 하는 추가의 속성을 포함한다. 이러한 속성은 중앙 좌표 및 법선 또는 정면 좌표에 의해 식별된 벡터, 2D/3D 스케일링 팩터, 및 측정 단위 및 크기 교정 팩터 중 하나 이상을 포함할 수 있다. 이미지의 자동 조정은 풍경 내 그들의 원하는 (가상) 위치에 따라 공간에서 적절하게 조정된 벡터(들)에 의해 획득될 수 있다.
방법들 및 장치가 개별적인 실시예들로서 상기에 기술되었지만, 이는 단지 명확한 목적들만을 위해서 행해지고, 방법 실시예들과 관련하여서만 기술된 특징들이 동일한 기술 효과들 및 이점들을 획득하기 위해 본 발명에 따른 장치에 적용될 수 있고, 그 반대도 마찬가지인 것이 주의되어야 한다.
"프로세서들"로서 라벨링된 임의의 기능 블록들을 포함하는 도면들에 도시된 다수의 요소들의 기능들은 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 그의 일부가 공유될 수 있는 복수의 개별적인 프로세서들에 의해 제공될 수 있다. 더욱이, 용어 "프로세서" 또는 "제어기"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 말하는 것으로 해석되지 않아야 하고, 디지털 신호 프로세서(DSP) 하드웨어, 네트워크 프로세서, 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA), 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장 장치를 제한 없이 암시적으로 포함할 수 있다. 관습형 및/또는 맞춤형의 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 단지 개념적이다. 그들의 기능은, 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어, 및 전용 로직의 상호 작용을 통해, 또는 수동으로도 수행될 수 있고, 특정한 기술은 문맥으로부터 더 명확하게 이해되는 바와 같이 실행자에 의해 선택가능하다.
본 기술의 숙련자는 다수의 상술된 방법들의 단계들이 프로그램된 컴퓨터들에서 수행될 수 있다는 것을 쉽게 인식할 것이다. 여기서, 몇몇 실시예들은 또한, 프로그램 저장 디바이스들, 예를 들면, 머신 또는 컴퓨터 판독가능하고, 머신 실행가능하거나 또는 컴퓨터 실행가능한 명령들의 프로그램들을 인코딩하는 디지털 데이터 저장 미디어를 포함하도록 의도된다. 상기 명령들은 상기 상술된 방법들의 단계들의 일부 또는 모두를 포함한다. 프로그램 저장 디바이스들은, 예를 들면, 디지털 메모리들, 자기 디스크들 및 자기 테이프들과 같은 자기 저장 미디어, 하드 드라이브들, 또는 광학적으로 판독가능한 디지털 데이터 저장 미디어일 수 있다. 실시예들은 또한 상술된 방법들의 상기 단계들을 수행하도록 프로그래밍된 컴퓨터들을 포함하도록 의도된다.
201 : 제 1 비디오 입력 인터페이스
202 : 제 2 비디오 입력 인터페이스
203: 변환 정보 인터페이스 210 : 변환 프로세서
220 : 믹싱 프로세서 230 : 비디오 출력 인터페이스
202 : 제 2 비디오 입력 인터페이스
203: 변환 정보 인터페이스 210 : 변환 프로세서
220 : 믹싱 프로세서 230 : 비디오 출력 인터페이스
Claims (20)
- 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법에 있어서,
믹싱 디바이스에서:
상기 제 1 비디오 신호를 수신하는 단계;
상기 제 2 비디오 신호를 수신하는 단계;
상기 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 상기 제 1 비디오 신호와 상기 제 2 비디오 신호 사이의 공간적 관계를 표현하는 변환 정보 신호를 수신하는 단계로서, 상기 공간적 관계는 상기 제 2 비디오 신호에 포함된 이미지들이 상기 제 1 비디오 신호에 포함된 이미지들내에 고정되는 장소를 규정하는, 상기 변환 정보 신호를 수신하는 단계;
상기 변환 정보 신호에 따라 상기 제 2 비디오 신호를 변환하는 단계; 및
상기 제 1 비디오 신호의 상기 불투명한 영역을 상기 변환된 제 2 비디오 신호의 일 부분과 조합하는 단계로서, 상기 변환된 제 2 비디오 신호의 상기 일 부분은 상기 제 1 비디오 신호의 상기 투명한 부분에 렌더링되는, 상기 조합 단계를 포함하고,
상기 제 1 비디오 신호 및 상기 변환 정보 신호는 각각 1차 비디오 스트림의 메인 채널 및 믹싱 채널로 제공되고,
상기 믹싱 채널은 수학적 영역으로 표현되는, 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법. - 제 1 항에 있어서,
상기 변환 단계는 상기 제 2 비디오 신호의 크기 조정, 회전, 반사, 투사, 및 평행 이동 중 하나 이상을 포함하는, 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 변환 정보 신호에 연관된 제 1 깊이 정보를 수신하는 단계를 추가로 포함하고, 상기 변환 단계는 상기 제 1 깊이 정보에 따라 3차원 공간에서 수행되는, 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 제 2 비디오 신호와 연관된 제 2 깊이 정보를 수신하는 단계를 추가로 포함하고, 상기 변환 단계는 상기 제 2 깊이 정보에 따라 3차원 공간에서 수행되는, 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 제 1 비디오 신호와 연관된 제 3 깊이 정보를 수신하는 단계를 추가로 포함하는, 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 제 1 비디오 신호 및 상기 변환 정보 신호는 인코딩된 비디오 스트림의 상이한 채널들로서 수신되는, 제 1 비디오 신호 및 제 2 비디오 신호를 믹싱하기 위한 방법. - 실행될 때 제 1 항 또는 제 2 항의 방법을 수행하도록 구성된 소프트웨어 수단을 포함하는 컴퓨터 프로그램이 기록된, 컴퓨터 판독가능 기록 매체.
- 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치에 있어서,
상기 제 1 비디오 신호를 수신하기 위한 제 1 비디오 입력 인터페이스;
상기 제 2 비디오 신호를 수신하기 위한 제 2 비디오 입력 인터페이스;
상기 제 1 비디오 신호를 투명한 영역 및 불투명한 영역으로 분할하고 상기 제 1 비디오 신호와 상기 제 2 비디오 신호 사이의 공간적 관계를 표현하는, 변환 정보 신호를 수신하기 위한 변환 정보 인터페이스로서, 상기 공간적 관계는 상기 제 2 비디오 신호에 포함된 이미지들이 상기 제 1 비디오 신호에 포함된 이미지들내에 고정되는 장소를 규정하는, 상기 변환 정보 신호를 수신하기 위한 변환 정보 인터페이스;
상기 제 2 비디오 입력 인터페이스 및 상기 변환 정보 인터페이스에 동작가능하게 결합된 변환 프로세서로서, 상기 변환 정보 신호에 따라 상기 제 2 비디오 신호를 변환하도록 구성되는, 상기 변환 프로세서; 및
상기 제 1 비디오 인터페이스 및 상기 변환 프로세서에 동작가능하게 결합된 믹싱 프로세서로서, 상기 제 1 비디오 신호의 상기 불투명한 영역을 상기 변환된 제 2 비디오 신호의 일 부분과 조합하도록 구성되고, 상기 변환된 제 2 비디오 신호의 상기 일 부분은 상기 제 1 비디오 신호의 상기 투명한 부분에 렌더링되는, 상기 믹싱 프로세서를 포함하고,
상기 제 1 비디오 신호 및 상기 변환 정보 신호는 각각 1차 비디오 스트림의 메인 채널 및 믹싱 채널로 제공되고,
상기 믹싱 채널은 수학적 영역으로 표현되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 8 항에 있어서,
상기 변환 프로세서는 상기 제 2 비디오 신호의 크기 조정, 회전, 반사, 투사, 및 평행 이동 중 하나 이상을 적용하도록 구성되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 8 항 또는 제 9 항에 있어서,
상기 변환 정보 인터페이스는 또한 상기 변환 정보 신호와 연관된 제 1 깊이 정보를 수신하도록 적응되고, 상기 변환 프로세서는 상기 제 1 깊이 정보에 따라 3차원 공간에서 상기 제 2 비디오 신호를 변환하도록 구성되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 8 항 또는 제 9 항에 있어서,
상기 제 2 비디오 입력 인터페이스는 또한 상기 제 2 비디오 신호와 연관된 제 2 깊이 정보를 수신하도록 적응되고, 상기 변환 프로세서는 상기 제 2 깊이 정보에 따라 3차원 공간에서 상기 제 2 비디오 신호를 변환하도록 구성되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 8 항 또는 제 9 항에 있어서,
상기 제 1 비디오 입력 인터페이스는 또한 상기 제 1 비디오 신호와 연관된 제 3 깊이 정보를 수신하도록 적응되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 1 항 또는 제 2 항에 따른 방법에서 사용하기 위한 비디오 스트림이 기록된 저장 매체에 있어서,
상기 비디오 스트림은 메인 채널로서 상기 제 1 비디오 신호, 및 추가의 채널로서 상기 변환 정보 신호를 포함하는, 저장 매체. - 제 13 항에 있어서,
상기 비디오 스트림은 깊이 정보를 추가로 포함하는, 저장 매체. - 제 13 항에 따른 상기 비디오 스트림을 제공하도록 구성된, 비디오 서버.
- 제 10 항에 있어서,
상기 제 2 비디오 입력 인터페이스는 또한 상기 제 2 비디오 신호와 연관된 제 2 깊이 정보를 수신하도록 적응되고, 상기 변환 프로세서는 상기 제 2 깊이 정보에 따라 3차원 공간에서 상기 제 2 비디오 신호를 변환하도록 구성되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 10 항에 있어서,
상기 제 1 비디오 입력 인터페이스는 또한 상기 제 1 비디오 신호와 연관된 제 3 깊이 정보를 수신하도록 적응되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 11 항에 있어서,
상기 제 1 비디오 입력 인터페이스는 또한 상기 제 1 비디오 신호와 연관된 제 3 깊이 정보를 수신하도록 적응되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 16 항에 있어서,
상기 제 1 비디오 입력 인터페이스는 또한 상기 제 1 비디오 신호와 연관된 제 3 깊이 정보를 수신하도록 적응되는, 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 장치. - 제 14 항에 따른 상기 비디오 스트림을 제공하도록 구성된, 비디오 서버.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP12305618.6 | 2012-06-01 | ||
| EP12305618.6A EP2670130B1 (en) | 2012-06-01 | 2012-06-01 | Method and apparatus for mixing a first video signal and a second video signal |
| PCT/EP2013/060574 WO2013178522A1 (en) | 2012-06-01 | 2013-05-23 | Method and apparatus for mixing a first video signal and a second video signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150027159A KR20150027159A (ko) | 2015-03-11 |
| KR101639589B1 true KR101639589B1 (ko) | 2016-07-14 |
Family
ID=48483074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147036889A KR101639589B1 (ko) | 2012-06-01 | 2013-05-23 | 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10244185B2 (ko) |
| EP (1) | EP2670130B1 (ko) |
| JP (1) | JP6173442B2 (ko) |
| KR (1) | KR101639589B1 (ko) |
| CN (1) | CN104380728B (ko) |
| WO (1) | WO2013178522A1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10033995B2 (en) | 2015-03-01 | 2018-07-24 | Nextvr Inc. | Methods and apparatus for supporting content generation, transmission and/or playback |
| CN105828201B (zh) * | 2016-04-22 | 2019-05-21 | 北京小米移动软件有限公司 | 视频处理方法及装置 |
| CN106686298A (zh) * | 2016-11-29 | 2017-05-17 | 努比亚技术有限公司 | 拍摄后处理方法、拍摄后处理装置及移动终端 |
| US20180247672A1 (en) * | 2017-02-24 | 2018-08-30 | Entry Point Vr, Inc. | Bundling Separate Video Files to Support a Controllable End-User Viewing Experience with Frame-Level Synchronization |
| CN109561240B (zh) | 2017-09-24 | 2023-02-17 | 福希特公司 | 用于生成媒体资产的系统和方法 |
| KR102022980B1 (ko) * | 2017-12-01 | 2019-09-19 | 클릭트 주식회사 | 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램 |
| CN108446088A (zh) * | 2018-04-18 | 2018-08-24 | 广州视源电子科技股份有限公司 | 终端及投屏系统 |
| US10803836B2 (en) * | 2018-09-28 | 2020-10-13 | Aten International Co., Ltd. | Switch device and switch system and the methods thereof |
| CN111131891B (zh) * | 2018-11-01 | 2023-01-24 | 阿里巴巴集团控股有限公司 | 一种音视频播放方法、装置、播放设备及系统 |
| CN113038243B (zh) * | 2021-05-28 | 2021-09-17 | 卡莱特云科技股份有限公司 | 一种视频源画面播放过程中的透明度调整方法及设备 |
| CN114173074B (zh) * | 2021-10-22 | 2023-11-03 | 广州市奥威亚电子科技有限公司 | 用于视频格式转换的录制保存方法及格式转换方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8317407D0 (en) * | 1983-06-27 | 1983-07-27 | Rca Corp | Image transform techniques |
| GB8518803D0 (en) * | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
| US4703514A (en) * | 1985-09-16 | 1987-10-27 | Rca Corporation | Programmed implementation of real-time multiresolution signal processing apparatus |
| JPH03179994A (ja) | 1989-12-08 | 1991-08-05 | Nippon Hoso Kyokai <Nhk> | 画像表示方法および装置 |
| US5140416A (en) * | 1990-09-18 | 1992-08-18 | Texas Instruments Incorporated | System and method for fusing video imagery from multiple sources in real time |
| US5325449A (en) * | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
| JPH06176131A (ja) | 1992-12-03 | 1994-06-24 | Namco Ltd | 画像合成装置及びこれを用いた仮想体験装置 |
| JP3339980B2 (ja) * | 1994-02-18 | 2002-10-28 | 松下電器産業株式会社 | 画像合成装置 |
| CA2142806A1 (en) * | 1994-02-18 | 1995-08-19 | Masamichi Nakagawa | Picture synthesizing apparatus |
| DE69635347T2 (de) * | 1995-07-10 | 2006-07-13 | Sarnoff Corp. | Verfahren und system zum wiedergeben und kombinieren von bildern |
| US6571019B1 (en) * | 1995-10-26 | 2003-05-27 | Hyundai Curitel, Inc | Apparatus and method of encoding/decoding a coded block pattern |
| JPH11259672A (ja) * | 1998-03-13 | 1999-09-24 | Mitsubishi Electric Corp | ３次元仮想空間表示装置 |
| US6249285B1 (en) * | 1998-04-06 | 2001-06-19 | Synapix, Inc. | Computer assisted mark-up and parameterization for scene analysis |
| JP2001148851A (ja) | 1999-11-22 | 2001-05-29 | Kumagai Gumi Co Ltd | 画像表示装置 |
| US6898266B2 (en) * | 2000-11-13 | 2005-05-24 | Digitome Corporation | 3D projection method |
| JP4688316B2 (ja) * | 2001-02-28 | 2011-05-25 | 独立行政法人産業技術総合研究所 | シミュレーション装置とシミュレーション方法、及び映像生成装置と映像生成方法 |
| JP4400143B2 (ja) * | 2003-08-20 | 2010-01-20 | パナソニック株式会社 | 表示装置および表示方法 |
| JP2005165614A (ja) | 2003-12-02 | 2005-06-23 | Canon Inc | 画像合成装置および画像合成方法 |
| JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| KR20100133356A (ko) * | 2007-12-13 | 2010-12-21 | 수포너 리미티드 | 텔레비전 이미지의 콘텐츠를 수정하는 방법 |
| RU2516499C2 (ru) * | 2007-12-18 | 2014-05-20 | Конинклейке Филипс Электроникс Н.В. | Передача данных стереоскопического изображения через интерфейс устройства отображения |
| JP5372916B2 (ja) * | 2008-10-10 | 2013-12-18 | パナソニック株式会社 | 映像出力装置及び映像出力方法 |
| EP2334088A1 (en) * | 2009-12-14 | 2011-06-15 | Koninklijke Philips Electronics N.V. | Generating a 3D video signal |
| EP2424251A3 (en) | 2010-08-23 | 2012-12-26 | Lg Electronics Inc. | Method for providing 3d video data in a 3dtv |
| JP5642457B2 (ja) * | 2010-08-31 | 2014-12-17 | オリンパス株式会社 | 表示制御装置および表示制御方法 |
-
2012
- 2012-06-01 EP EP12305618.6A patent/EP2670130B1/en not_active Not-in-force
-
2013
- 2013-05-23 WO PCT/EP2013/060574 patent/WO2013178522A1/en active Application Filing
- 2013-05-23 JP JP2015514425A patent/JP6173442B2/ja not_active Expired - Fee Related
- 2013-05-23 CN CN201380028838.5A patent/CN104380728B/zh not_active Expired - Fee Related
- 2013-05-23 US US14/404,727 patent/US10244185B2/en active Active
- 2013-05-23 KR KR1020147036889A patent/KR101639589B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| EP2670130A1 (en) | 2013-12-04 |
| EP2670130B1 (en) | 2019-03-27 |
| CN104380728A (zh) | 2015-02-25 |
| US20150147046A1 (en) | 2015-05-28 |
| KR20150027159A (ko) | 2015-03-11 |
| US10244185B2 (en) | 2019-03-26 |
| WO2013178522A1 (en) | 2013-12-05 |
| JP6173442B2 (ja) | 2017-08-02 |
| JP2015523786A (ja) | 2015-08-13 |
| CN104380728B (zh) | 2017-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101639589B1 (ko) | 제 1 비디오 신호와 제 2 비디오 신호를 믹싱하기 위한 방법 및 장치 | |
| US11599968B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| US11109066B2 (en) | Encoding and decoding of volumetric video | |
| US10567728B2 (en) | Versatile 3-D picture format | |
| US9986258B2 (en) | Efficient encoding of multiple views | |
| US11218683B2 (en) | Method and an apparatus and a computer program product for adaptive streaming | |
| US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
| US11463681B2 (en) | Encoding and decoding of volumetric video | |
| US20150179218A1 (en) | Novel transcoder and 3d video editor | |
| US20210160561A1 (en) | Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program | |
| US20210195161A1 (en) | Stereo omnidirectional frame packing | |
| Kovács et al. | Analysis and optimization of pixel usage of light-field conversion from multi-camera setups to 3D light-field displays | |
| Le Feuvre et al. | Graphics Composition for Multiview Displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |