KR20160034948A - 뷰 공간에 관한 스테레오 정보를 송수신하는 방법 - Google Patents

뷰 공간에 관한 스테레오 정보를 송수신하는 방법 Download PDF

Info

Publication number
KR20160034948A
KR20160034948A KR1020167003581A KR20167003581A KR20160034948A KR 20160034948 A KR20160034948 A KR 20160034948A KR 1020167003581 A KR1020167003581 A KR 1020167003581A KR 20167003581 A KR20167003581 A KR 20167003581A KR 20160034948 A KR20160034948 A KR 20160034948A
Authority
KR
South Korea
Prior art keywords
signals
stereo
video
image
video signals
Prior art date
Application number
KR1020167003581A
Other languages
English (en)
Other versions
KR101960577B1 (ko
Inventor
세르게이 알렉산드로비치 소볼레브
Original Assignee
리미티드 리아빌리티 컴패니 ¨3디 티브이 테크닉스¨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리미티드 리아빌리티 컴패니 ¨3디 티브이 테크닉스¨ filed Critical 리미티드 리아빌리티 컴패니 ¨3디 티브이 테크닉스¨
Publication of KR20160034948A publication Critical patent/KR20160034948A/ko
Application granted granted Critical
Publication of KR101960577B1 publication Critical patent/KR101960577B1/ko

Links

Images

Classifications

    • H04N13/0282—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H04N13/0059—
    • H04N13/0264—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 입체적(stereoscopic) 텔레비전과 관련이 있다. 그것의 기술적인 결과는, 입체 비디오 이미지들의 전송이 포토그래핑(photographed)되는 물리적 공간의 자동 실시간 측정의 결과로서 제어되는 정확도의 증가이다. 종래 방법에서, 스테레오 포토그래피는 동기화된 비디오 카메라들을 구비한 대칭적으로 집중된 다각도 스테레오 시스템에 의해 수행되고, 인접한 비디오 신호들이 기록되고 비교되며, 중앙 신호와 인접한 각도 신호들이 상기 라인들에서 감지되고, 상기 신호들의 시점(temporal) 시차는 단일 시점 프레임워크에서 측정되고, 시차 신호들은 중앙 비디오 카메라의 비디오 신호와 동기화 되고, 신호 스트림이 수신 종단에 전송되고 기록되고, 입체 각도 샷(shots)의 비디오 신호들이 시점 시차들에 인접한 중앙 카메라의 신호들의 구성요소를 시프팅(shift) 함으로써 생성되고, 상기 이미지는 도 1에 도시된다.

Description

뷰 공간에 관한 스테레오 정보를 송수신하는 방법{METHOD FOR TRANSMITTING AND RECEIVING STEREO INFORMATION ABOUT A VIEWED SPACE}
본 발명은 입체적(stereoscopic) 텔레비전과 관련이 있다.
종래 방법에서, 스테레오 포토그래피는 동기화된 비디오 카메라들을 구비한 대칭적으로 집중된 다각도 스테레오 시스템에 의해 수행되고, 인접한 비디오 신호들이 기록되고 비교되며, 중앙 신호와 인접한 각도 신호들이 상기 라인들에서 감지되고, 상기 신호들의 시점(temporal) 시차는 단일 시점 프레임워크에서 측정되고, 시차 신호들은 중앙 비디오 카메라의 비디오 신호와 동기화 되고, 신호 스트림이 수신 종단에 전송되고 기록되고, 입체 각도 샷(shots)의 비디오 신호들이 시점 시차들에 인접한 중앙 카메라의 신호들의 구성요소를 시프팅(shift) 함으로써 생성되고, 상기 이미지는 도 1에 도시된다.
본원 발명은 텔레비전 공학을 겨냥(is directed)한 것으로, 즉, 뷰 객체 공간 및 그것이 요구되는 현재(present) 객체의 공간적 차원들(spatial dimensions)에 관한 정보인 경우(where), 문화, 과학 및 기술의 다른 가지(branches)뿐 아니라 입체 텔레비전(3D TV), 3D TV 방송 및 웹에 널리 이용되고, 모바일 객체를 위한 정교한(in precise) 동적 제어 시스템들에서 기술적인 비전(vision)으로서 이용될 수 있다.
스트로보스코빅(stroboscopic) 방법은 기능적 종속에 기초한 스테레오 페어 프레임에서 그것들의 이미지 상에서 인접한 포인트들의 선형 시차를 측정 함으로써 레인징(ranging)하기 위해 이용되는 것으로 알려져 있다.
L=f(F; b; Δl)의 경우
L은 뷰 포인트의 범위이다.
F는 스테레오 시스템 렌즈들의 초점(focal) 거리이다.
B는 스테레오 시스템 베이스(base)이다.
Δl은 스테레오 페어 프레임들 내에서 뷰 포인트들의 인접한 이미지들 간의 선형 시차이다.
아날로그를 위한, "기술적 비전의 3D TV 시스템에서 그것의 3D 모델을 구성하기 위한 외부 미디엄 좌표들의 자동 측정을 위한 방법"[1]. 이 방법은 이미지 시각화(visualization)룰 위한 디스플레이, PC에 연결된 TV 스테레오 블록으로 구성되는 기술적 비전 시스템을 포함하는 인간-기계 콤플렉스(complex)에 이용되기 위해 설계되었다. 이 방법의 단점은 다음과 같다: 스테레오 페어 프레임들을 송신하기 위한 비디오 플로우 더블링(doubling), 장면(scene)의 정적(static)인 목표 포인트들의 좌표의 측정, 셀렉션(selection)으로 오퍼레이터 간섭의 필요성 및 그것의 기하학적 모델의 계산을 위해 객체 포인트들의 셋을 측정하는 것.
프로토타입을 위해, 2D+Z 포맷을 이용하는 방법이 이용된다, "디지털 3D TV", 텔레-스푸틱(sputik) 6월 2010[2].
3D 방송의 공학적 구현은 카메라 대 각각의 픽셀 거리(camera-to-each pixel distance) (Z-좌표)에 관한 정보 및 임의의 공통적인(2D) 이미지를 연관(correlating) 시킴으로써 수행된다. 이미지의 그러한 프레젠테이션(presentation)은 "2D+Z 포맷"으로 지칭되고, Z축 평면은 "깊이 매뉴스크립트"라고 지칭한다. 이것은 입체 비디오가 단지(just) 25-30% 증가한 데이터 플로우를 송신하도록 허락한다. 카메라 대 목표 포인트 거리가 회색 그라데이션(gradations)에 의해 표시(denote)되는 경우, 매뉴스크립트는 모노크롬(monochrome) 이미지로서 도시된다. 이 경우, 매뉴스크립트 계산을 위해, 비디오 기록의 2개의 채널들 간의 차이를 분석하기 위한 알고리즘이 이용된다. 합성 해상도 채널의 비디오 플로우들 및 후자(latter)와 동기화되는 모노크롬 깊이 매뉴스크립트 Z 이미지는 2개의 이미지 회로에 의해 수신하는 측에 송신된다.
3D 이미지 재구성을 위해, 일련의(a series of) 프레임들이 계산될 것이다. 입체 이미지는 깊이 매뉴스크립트와 관련된 초기 이미지의 보간법(interpolation) 에 의해 복구된다. 일련의 프레임들은 3D-비디오 시뮬레이션에 의해 획득되고(obtained) 임의의 스테레오 디스플레이 상에 보여진다(demonstrate).
이 방법의 주된 장점은, 프레임 이미지들의 분석을 요구하는 복잡한 알고리즘 적용의 필요성 및 시스템의 타성(inertness)이 증가하는 고도의 계산 강도(computing intensity) 를 포함한다. 일반적으로, 이러한 방법은, 수신 및 가상의(subjective) 입체 이미지들만의 가상적 표시(representation)에 적용 가능하다. 이러한 기술에서, 목표 공간의 실시간 자동 측정은 가상적으로 비현실적이다. 이 방법의 네비게이션 및 운송 수단(vehicle) 제어 시스템에 대한 응용(application)은, 원격 및 다양한 미디어에서 동작하는 동안 자동 제어를 포함하고 문제가 많다기 보다 실시간인 것을 포함한다.
목표 공간 이미지를 결정하기 위해, 측정은 스테레오 페어 프레임들 내의 모든 또는 대부분의 목표 포인트 이미지의 계산에 의해 수행되어야 한다(shall be). 스테레오 페어 이미지들에 의한 객체 재구성 방법은, 각각 측정된 포인트가 훨씬 많은 시간 동안 오퍼레이터에 의해 결정되고, 정적인 이미지에만 적용될 수 있다(예를 들어, 스테레오 이미지가 스테레오 컴팩터(compactor) 상에서 프로세싱 되는 공중(aerial) 포토그래피에 의해 촬영된 경우, 맵핑).
프로세싱의 자동화를 위해, 많은 알고리즘이 제안되어 왔다[3, 4]. 그러나, 이 문제점은 극단적으로 어렵고, 명백히 매우 다루어지지 않는다(apparently, is far not addressed): 스테레오 페어의 분석은 컴퓨터 메모리 내의 세계에 대한 광범위한 지식보다 존재(presence)를 제시하고(analysis of a stereo pair suggests the presence of rather broad knowledge about the world in the computer memory), 스테레오 페어의 디코딩의 부재(absence)는 일반적으로 행해지지 않는다(in the absence of which decoding of the stereo pair is unlikely, in general)[5].
본 방법은 존재하는(existing) TV 기술에 기초한 TV 스테레오 시스템의 생성(creation), 목표 공간의 종속 참조의 불변하는(invariant) 프레임에서, 최소 필요성을 측정하는 그것의 실시간 자동 측정 및 정교한 제어 시스템 및 장시간(extended) 안락한 뷰잉 존(zone) 내의 3D 이미지 재생(playing)에 이용되기 위한 이미지 회로에 의해 송신되는 충분한 데이터 볼륨을 목표로 한 것이다. 본 방법은, 아래 폼(form)에서 도시될 수 있는 선형 시차 값을 제외하고, 모든 값이 상수인 경우, 종속(1)에 기초한 것이다.
L=KΔl
K는 특정 스테레오 시스템의 도구 전송 기능인 경우이다.
시스템을 위한 K는, 메트롤로지컬 벤치(metrological bench) 상에서 3D 캘리브레이션 장면에 따라 측정되고 스테레오 TV 비디오 카메라의 현재 설계의 모든 형태들을 어카운팅(accounting)하는 상수 값이다.
시스템 내에 이용되는 메트릭스와 호환 가능한(compatible with) 유닛 내의 선형 시차를 측정하는 것은 디스플레잉 및 3D 뷰잉 목표 공간 측정을 위한 주된 태스크를 유지(remain)한다.
타겟 목표는 본원 발명의 구현을 위한 이유(reason)에 의해 달성(achieve)되고, 상기 수신하는 측(side)에 스테레오 비디오 신호들의 상기 플로우(flow)의 번역, 제어 시스템에서 상기 정보의 이용, 스테레오 페어(pair) 프레임들(frames)의 비디오 신호들의 복구(recovery) 및 렌즈의 축들이 서로(one another) 평행하고 상기 목표 공간에서 각각의 포인트 이미지들로부터 신호들 간의 즉각적인 시점(temporal)의 시차(parallaxes)의 측정에 따른 깊이 매뉴스크립트의 형성에 의해 상기 동일 평면에 위치하는, 대칭적으로(symmetrically) 집중된 비디오 카메라들 위치의 공간적 구조를 구비한, 동기화된 다각도 스테레오 TV 시스템에 의해, 비디오 신호들의 스테레오 표시(representation), 수평적 신호들의 방향(aspect)에서 비디오 신호들의 이미지로부터 그것과 결합되는 신호들, 수평의(of horizontal) 상대적(comparative) 구조에서 수평적 스캔 속도, 상기 비디오 카메라 위치의 공간적 구조에 대한(to) 수평적 비디오 신호들의 상기 상대 구조 내의 비디오 신호들의 배치(disposition)의 유사성에 의해 식별되는, 동시에 뷰 상기 목표 공간으로부터 즉시 기록되는 비디오 신호들 및 상기 스테레오 시스템의 라인 동기화 신호에 의해 상기 오리진(origin) 셋을 구비한, 참조의 통합된(intergrated) 시점 프레임 내에 구성되는, 결합된 신호들 및 상기 이미지 회로로 풀(full) 해상도(resolution) 비디오 신호들의 송신 및 스테레오 프레임들 및 3D 이미지들의 다각도 스테레오 표시를 위해 대응하는 시점의 시차에 의해 상기 중앙 비디오 카메라로부터 신호들을 시프팅(shift) 함으로써 수평적 각도 비디오 신호들의 재구성을 제공하는 컴퓨팅 블록에게 리시버(receiver)를 경유하여 비디오 신호와 동기화되는 상기 깊이 매뉴스크립트 신호들의 송신을 더 구비한, 상기 중앙의 카메라 내의 상기 신호를 구비한 각도(angle) 비디오 카메라들에서 상기 결합된 신호들의 동일성(equality)에 의해 스테레오 TV 픽업이 수행된다.
다음 정보를 획득(obtaining)하는 TV 다각도(multi angle) 방법에 있어서,
각도의 자동 측정을 구비한 뷰(view) 공간에 관한 스테레오(stereo) 정보를 송신하는 단계 및 수신하는 단계;
2D+Z 포맷(format) 에서 스테레오 TV 신호를 제공하는 입체적(stereoscopic) 픽업(pick-up)을 포함,
상기 Z는 상기 깊이(depth) 매뉴스크립트,
상기 수신하는 측(side)에 스테레오 비디오 신호들의 상기 플로우(flow)의 번역, 제어 시스템에서 상기 정보의 이용, 스테레오 페어(pair) 프레임들(frames)의 비디오 신호들의 복구(recovery) 및
렌즈의 축들이 서로(one another) 평행하고 상기 목표 공간에서 각각의 포인트 이미지들로부터 신호들 간의 즉각적인 시점(temporal)의 시차(parallaxes)의 측정에 따른 깊이 매뉴스크립트의 형성에 의해 상기 동일 평면에 위치하는, 대칭적으로(symmetrically) 집중된 비디오 카메라들 위치의 공간적 구조를 구비한, 동기화된 다각도 스테레오 TV 시스템에 의해 상기 스테레오 TV 픽업이 수행되는 것을 특징으로 하는 비디오 신호들의 스테레오 표시(representation), 및
수평적 신호들의 방향(aspect), 수평의(of horizontal) 상대적(comparative) 구조에서 수평적 스캔 속도로부터 신호들의 이미지로부터 그것과 결합되는 신호들,
동시에 목표 공간의 동시에 뷰 되는 라인으로부터 즉시 기록되고 비디오 신호들 및 상기 스테레오 시스템의 라인 동기화 신호에 의해 상기 오리진(origin) 셋을 구비한, 참조의 통합된(intergrated) 시점 프레임 내에 구성되는(composed in),
상기 비디오 카메라 위치의 공간적 구조에 대한(to) 수평적 비디오 신호들의 상기 상대 구조 내의 비디오 신호들의 배치(disposition)의 유사성에 의해 식별되는 결합된 신호들 및
상기 이미지 회로로 합성(composite) 해상도(resolution) 비디오 신호들의 송신 및 스테레오 프레임들 및 3D 이미지들의 다각도 스테레오 레프레젠테이션을 위해 대응하는 시점의 시차에 의해 상기 중앙 비디오 카메라로부터 신호들을 시프팅(shift) 함으로써 수평적 각도 비디오 신호들의 재구성을 제공하는 컴퓨팅 블록에게 리시버(receiver)를 경유하여 비디오 신호와 동기화되는 상기 깊이 매뉴스크립트 신호들의 송신을 더 구비한, 상기 중앙의 카메라 내의 상기 신호를 구비한 각도(angle) 비디오 카메라들에서 상기 결합된 신호들의 동일성(equality) 및
프레임-바이-프레임(frame-by-frame)에 의해(with) 좌표를 계산하는 상기 목표 공간의 3D 디지털 이미지의 상기 구성 및 상기 제어 시스템들의 유용한(informative) 지원을 위해 필요한, 포함되는 객체들의 동적인 특징
을 획득하는 TV 다각도 방법.
본원 발명은 텔레비전 공학을 겨냥(is directed)한 것으로, 즉, 뷰 객체 공간 및 그것이 요구되는 현재(present) 객체의 공간적 차원들(spatial dimensions)에 관한 정보인 경우(where), 문화, 과학 및 기술의 다른 가지(branches)뿐 아니라 입체 텔레비전(3D TV), 3D TV 방송 및 웹에 널리 이용되고, 모바일 객체를 위한 정교한(in precise) 동적 제어 시스템들에서 기술적인 비전(vision)으로서 이용될 수 있다.
스트로보스코빅(stroboscopic) 방법은 기능적 종속에 기초한 스테레오 페어 프레임에서 그것들의 이미지 상에서 인접한 포인트들의 선형 시차를 측정 함으로써 레인징(ranging)하기 위해 이용되는 것으로 알려져 있다.
L=f(F; b; Δl)의 경우
L은 뷰 포인트의 범위이다.
F는 스테레오 시스템 렌즈들의 초점(focal) 거리이다.
B는 스테레오 시스템 베이스(base)이다.
Δl은 스테레오 페어 프레임들 내에서 뷰 포인트들의 인접한 이미지들 간의 선형 시차이다.
아날로그를 위한, "기술적 비전의 3D TV 시스템에서 그것의 3D 모델을 구성하기 위한 외부 미디엄 좌표들의 자동 측정을 위한 방법"[1]. 이 방법은 이미지 시각화(visualization)룰 위한 디스플레이, PC에 연결된 TV 스테레오 블록으로 구성되는 기술적 비전 시스템을 포함하는 인간-기계 콤플렉스(complex)에 이용되기 위해 설계되었다. 이 방법의 단점은 다음과 같다: 스테레오 페어 프레임들을 송신하기 위한 비디오 플로우 더블링(doubling), 장면(scene)의 정적(static)인 목표 포인트들의 좌표의 측정, 셀렉션(selection)으로 오퍼레이터 간섭의 필요성 및 그것의 기하학적 모델의 계산을 위해 객체 포인트들의 셋을 측정하는 것.
프로토타입을 위해, 2D+Z 포맷을 이용하는 방법이 이용된다, "디지털 3D TV", 텔레-스푸틱(sputik) 6월 2010[2].
3D 방송의 공학적 구현은 카메라 대 각각의 픽셀 거리(camera-to-each pixel distance) (Z-좌표)에 관한 정보 및 임의의 공통적인(2D) 이미지를 연관(correlating) 시킴으로써 수행된다. 이미지의 그러한 프레젠테이션(presentation)은 "2D+Z 포맷"으로 지칭되고, Z축 평면은 "깊이 매뉴스크립트"라고 지칭한다. 이것은 입체 비디오가 단지(just) 25-30% 증가한 데이터 플로우를 송신하도록 허락한다. 카메라 대 목표 포인트 거리가 회색 그라데이션(gradations)에 의해 표시(denote)되는 경우, 매뉴스크립트는 모노크롬(monochrome) 이미지로서 도시된다. 이 경우, 매뉴스크립트 계산을 위해, 비디오 기록의 2개의 채널들 간의 차이를 분석하기 위한 알고리즘이 이용된다. 합성 해상도 채널의 비디오 플로우들 및 후자(latter)와 동기화되는 모노크롬 깊이 매뉴스크립트 Z 이미지는 2개의 이미지 회로에 의해 수신하는 측에 송신된다.
3D 이미지 재구성을 위해, 일련의(a series of) 프레임들이 계산될 것이다. 입체 이미지는 깊이 매뉴스크립트와 관련된 초기 이미지의 보간법(interpolation) 에 의해 복구된다. 일련의 프레임들은 3D-비디오 시뮬레이션에 의해 획득되고(obtained) 임의의 스테레오 디스플레이 상에 보여진다(demonstrate).
이 방법의 주된 장점은, 프레임 이미지들의 분석을 요구하는 복잡한 알고리즘 적용의 필요성 및 시스템의 타성(inertness)이 증가하는 고도의 계산 강도(computing intensity) 를 포함한다. 일반적으로, 이러한 방법은, 수신 및 가상의(subjective) 입체 이미지들만의 가상적 표시(representation)에 적용 가능하다. 이러한 기술에서, 목표 공간의 실시간 자동 측정은 가상적으로 비현실적이다. 이 방법의 네비게이션 및 운송 수단(vehicle) 제어 시스템에 대한 응용(application)은, 원격 및 다양한 미디어에서 동작하는 동안 자동 제어를 포함하고 문제가 많다기 보다 실시간인 것을 포함한다.
목표 공간 이미지를 결정하기 위해, 측정은 스테레오 페어 프레임들 내의 모든 또는 대부분의 목표 포인트 이미지의 계산에 의해 수행되어야 한다(shall be). 스테레오 페어 이미지들에 의한 객체 재구성 방법은, 각각 측정된 포인트가 훨씬 많은 시간 동안 오퍼레이터에 의해 결정되고, 정적인 이미지에만 적용될 수 있다(예를 들어, 스테레오 이미지가 스테레오 컴팩터(compactor) 상에서 프로세싱 되는 공중(aerial) 포토그래피에 의해 촬영된 경우, 맵핑).
프로세싱의 자동화를 위해, 많은 알고리즘이 제안되어 왔다[3, 4]. 그러나, 이 문제점은 극단적으로 어렵고, 명백히 매우 다루어지지 않는다(apparently, is far not addressed): 스테레오 페어의 분석은 컴퓨터 메모리 내의 세계에 대한 광범위한 지식보다 존재(presence)를 제시하고(analysis of a stereo pair suggests the presence of rather broad knowledge about the world in the computer memory), 스테레오 페어의 디코딩의 부재(absence)는 일반적으로 행해지지 않는다(in the absence of which decoding of the stereo pair is unlikely, in general)[5].
본 방법은 존재하는(existing) TV 기술에 기초한 TV 스테레오 시스템의 생성(creation), 목표 공간의 종속 참조의 불변하는(invariant) 프레임에서, 최소 필요성을 측정하는 그것의 실시간 자동 측정 및 정교한 제어 시스템 및 장시간(extended) 안락한 뷰잉 존(zone) 내의 3D 이미지 재생(playing)에 이용되기 위한 이미지 회로에 의해 송신되는 충분한 데이터 볼륨을 목표로 한 것이다. 본 방법은, 아래 폼(form)에서 도시될 수 있는 선형 시차 값을 제외하고, 모든 값이 상수인 경우, 종속(1)에 기초한 것이다.
L=KΔl
K는 특정 스테레오 시스템의 도구 전송 기능인 경우이다.
시스템을 위한 K는, 메트롤로지컬 벤치(metrological bench) 상에서 3D 캘리브레이션 장면에 따라 측정되고 스테레오 TV 비디오 카메라의 현재 설계의 모든 형태들을 어카운팅(accounting)하는 상수 값이다.
시스템 내에 이용되는 메트릭스와 호환 가능한(compatible with) 유닛 내의 선형 시차를 측정하는 것은 디스플레잉 및 3D 뷰잉 목표 공간 측정을 위한 주된 태스크를 유지(remain)한다.
타겟 목표는 본원 발명의 구현을 위한 이유(reason)에 의해 달성(achieve)되고, 상기 수신하는 측(side)에 스테레오 비디오 신호들의 상기 플로우(flow)의 번역, 제어 시스템에서 상기 정보의 이용, 스테레오 페어(pair) 프레임들(frames)의 비디오 신호들의 복구(recovery) 및 렌즈의 축들이 서로(one another) 평행하고 상기 목표 공간에서 각각의 포인트 이미지들로부터 신호들 간의 즉각적인 시점(temporal)의 시차(parallaxes)의 측정에 따른 깊이 매뉴스크립트의 형성에 의해 상기 동일 평면에 위치하는, 대칭적으로(symmetrically) 집중된 비디오 카메라들 위치의 공간적 구조를 구비한, 동기화된 다각도 스테레오 TV 시스템에 의해, 비디오 신호들의 스테레오 표시(representation), 수평적 신호들의 방향(aspect)에서 비디오 신호들의 이미지로부터 그것과 결합되는 신호들, 수평의(of horizontal) 상대적(comparative) 구조에서 수평적 스캔 속도, 상기 비디오 카메라 위치의 공간적 구조에 대한(to) 수평적 비디오 신호들의 상기 상대 구조 내의 비디오 신호들의 배치(disposition)의 유사성에 의해 식별되는, 동시에 뷰 상기 목표 공간으로부터 즉시 기록되는 비디오 신호들 및 상기 스테레오 시스템의 라인 동기화 신호에 의해 상기 오리진(origin) 셋을 구비한, 참조의 통합된(intergrated) 시점 프레임 내에 구성되는, 결합된 신호들 및 상기 이미지 회로로 풀(full) 해상도(resolution) 비디오 신호들의 송신 및 스테레오 프레임들 및 3D 이미지들의 다각도 스테레오 표시를 위해 대응하는 시점의 시차에 의해 상기 중앙 비디오 카메라로부터 신호들을 시프팅(shift) 함으로써 수평적 각도 비디오 신호들의 재구성을 제공하는 컴퓨팅 블록에게 리시버(receiver)를 경유하여 비디오 신호와 동기화되는 상기 깊이 매뉴스크립트 신호들의 송신을 더 구비한, 상기 중앙의 카메라 내의 상기 신호를 구비한 각도(angle) 비디오 카메라들에서 상기 결합된 신호들의 동일성(equality)에 의해 스테레오 TV 픽업이 수행된다.
뷰 공간에 관한 스테레오 정보 송수신방법을 도시한다.
A 및 B는 다른 타겟 존 내의 목표 포인트이다; b는 일반적으로 스테레오 카메라 베이스이다;
Ol; Oc; Or은 스테레오 카메라 렌즈의 중앙 포인트들이다.
A'l; A'c; A'r; B'l; B'c; B'r는 비디오 매트릭스들 상의 목표 포인트의 이미지들이다.
ΔB'l=Δ B'r 은 B'c 포인트에 관한 대칭 선형 시차다.
t0는 시점 거리들 및 동기화 신호에 의한 인터벌 셋을 위한 공통 참조 포인트이다.
tB' l, tB' c, tB' r는 라인 동기화 신호로부터, 수평적 스캔 속도에 의해 측정되는 좌측, 중앙 및 우측 비디오 카메라 내의 목표 포인트 B 이미지들로부터의 신호들에 대한 시점 거리이다.
tB' l, tB' r은 수평적 스캔 속도에 의해 측정되는 목표 포인트 B 이미치를 위한 시점 시차이다.
Figure pct00001
은 좌측, 중앙 및 우측 비디오 카메라들에서 목표 포인트 B의 이미지 B'로부터의 신호들의 레벨이다.
2D 포맷에서 뷰 목표 공간의 2-차원 이미지를 송신하는 TV 방법은 방송 및 산업적인 목적에 널리 이용된다. 3D 포맷에서 3-차원 이미지의 송신은 독특한 것으로 보이고 넓은 활용을 위한 수용 가능한 기술적인 솔루션이 아직 없다. 입체 영화 및 포토그래피 픽업들은 잘 알려져 있으나, 이러한 목적들을 위해 이용되는 방법은 실시간으로 동적 이미지를 TV를 송신함으로써 거의 수용 가능하지 않다. 쌍안(binocular) 비전을 구비한 사람 또는 동물에 의해 뷰 목표 공간의 3-차원 지각의 원칙은 뇌에서 양안(both eyes) 내의 2-차원 이미지의 동시적이고 상대적인 분석으로 결론을 내린다. 복잡도는 동일한 스테레오 페어의 리프레젠팅 프레임들에서 그것들의 공간적인 위치 내에 서로 상이한 다른 각에서 획득되는 뷰 목표 공간 내의 각각의 포인트의 이미지이다. 스테레오 페어 프레임들에서 목표 포인트들의 이러한 이미지는 결합된다고 지칭되고, 그것들의 공간적 차이는 시차라고 지칭된다. 시차 값은 이 포인트 범위인 것이 특징이고 그것을 평가 또는 측정을 허락한다. 그러나, 뷰 공간의 다른 포인트 범위들이 임의적이고, 공간 내에 위치한 객체들의 임의의 이동 순간에 계속적으로 변화하기 때문에, 시차도 계속적으로 이미지 내의 값 및 포지션에 의해 변경된다. 사람과 동물을 둘러싸고 있는 목표 공간을 지각하는 문제는 그들의 마인드(mind)에 의해, 양안 비전 장치를 구비한 뇌의 결합에 의해 해결된다.
본 발명의 목표는 결합된 포인트들의 자동 식별, 스테레오 페어의 TV 프레임 내의 그것들의 공간 포지션 및 일반적인 시-공간 프레임워크 및 매트릭스 내의 시차의 측정이다. 동기화된 시차 범위 신호를 송신된 색차(chrominance) 비디오 신호에 추가함으로써 비디오 신호들의 스테레오 TV 플로우를 형성한다. 제어 시스템들 및 스테레오 리프레젠테이션의 목적을 위한 시차 신호에 의해 스테레오 페어의 제2 프레임의 재구성을 위해 수신 측 상에 정보 플로우의 이용이 나타난다(appeared).
상기 방법의 구현을 위해, 스테레오 시스템의 공간 대칭적 구조가 형성된다. 이런 목적을 위해, 대칭적으로 중앙에 위치한(풀 해상도) 렌즈의 축들 및 측면(각도) 비디오 카메라들이 동일 평면 및 서로에게 나란하게(aligned) 된다. 카메라 제어는 공통 스캐닝 스테이지에 의해 시간을 맞춘다(is timed). 이것은 목표 공간 내의 동일한 라인의 비디오 카메라 및 공통 스캐닝 스테이지에 의해 생성되는 솔리드(solid) 시간에서 모든 라인들의 결합에 의해 동시에 읽히는 것을 제공한다. 이후, 측면(각도) 신호들 중에서 중앙 신호와 결합되는 동시에 읽는 라인에서 감지되는 목적을 위해, 라인 비디오 신호들은 즉시 기록되고 그것들의 라인 동기화 신호들에 의해 비교된다. 획득된 상대적인 라인 구조에서, 측면(각도) 비디오 신호들은, 선형 인터벌들이 동일한 비디오 카메라들의 대칭적으로 집중된 공간 어레인지먼트(arrangement) 때문에 중앙 신호에 대해 대칭적으로 위치할 것이다.
Figure pct00002
(2)
후자(the latter)는 신호들의 식별을 위한 결합의 공간적 위상(topological) 사인(sign)이다. 모든 비디오 카메라들 내의 리프리젠트 목표 포인트로부터 신호들이 동일하다는 가정을 해 보면 우리는 다음을 얻을 수 있다:
Figure pct00003
(3)
이러한 구별되는 사인들(2, 3)에 따라서, 컴퓨팅 유닛은 대칭적으로 어레인지 되는 조합 및 중앙(리딩) 신호와 결합되는 동일한 측(각도) 신호들을 식별하고 수평적 스캔 속도에 의해 그들 간의 시점 시차를 측정한다.
Figure pct00004
2D 포맷의 중앙(리딩) 풀 해상도 비디오 카메라의 모든 비디오 신호들을 위해 획득되고 시점 시차들의 포맷 내의 라인 범위 신호들을 리프레젠팅하는 시점 시차들의 값들은 합성 비디오 신호와 적시(timely)에 2D+Z 내의 이미지 회로로 송신된다.
수신 측 상에서는, 목표 공간 및 좌표의 3D 디지털 이미지로부터 수신된 정보 및 그것을 포함하는 객체들의 동적 특성들은, 비디오 카메라의 상대적인 위치, 비디오 카메라 렌즈의 초점 거리의 현재 값 및 네비게이션 및 제어 시스템들에 이용되는 시점 스캐닝 특성들에 종속되는 기능적 범위를 이용하여 계산된다.
스테레오 페어 프레임들의 재구성 및 구성요소(elemental) 스테레오 디스플레이 상에 그것들의 다각도 3D 시각 리프레젠테이션을 위해, 각각의 라인 내에 합성 해상도의 비디오 신호들은 수평 스캔의 속도 및 시점 시차의 대응 값에 의해 정의되는 선형 값에 의해 공간 내에 시프팅된다. 시점 시차의 포맷 내의 범위 신호들의 프레젠테이션은 스크린의 셀프 선형 차원과 결합하는 셀프 속도들에 의해 스캔하는 동일한 타입을 프로세싱하는 모든 리시버들이 구비한 혼화성(miscibility)을 제공한다.
또한, 구성요소 리프레젠테이션 방법이 이용되는 경우, 측면 비디오 카메라의 수의 침묵 증가(silent increase)는 3D 이미지의 안락한 뷰의 존에서의 상당한 증가를 제공할 수 있다.
1. 시점 거리들 및 시간 인터벌(intervals)-시차(parallaxes)-의 측정을 위해 공통 참조를 정의하는 라인 동기화 신호;
2. 이미지 회로를 경유하여 송신되는 신호들;
3. 컴퓨팅 블록;
4. 스테레오 디스플레이;

Claims (1)

  1. 다음 정보를 획득(obtaining)하는 TV 다각도(multi angle) 방법에 있어서,
    각도의 자동 측정을 구비한 뷰(view) 공간에 관한 스테레오(stereo) 정보를 송신하는 단계 및 수신하는 단계;
    2D+Z 포맷(format) 에서 스테레오 TV 신호를 제공하는 입체적(stereoscopic) 픽업(pick-up)을 포함,
    상기 Z는 상기 깊이(depth) 매뉴스크립트,
    상기 수신하는 측(side)에 스테레오 비디오 신호들의 상기 플로우(flow)의 번역, 제어 시스템에서 상기 정보의 이용, 스테레오 페어(pair) 프레임들(frames)의 비디오 신호들의 복구(recovery) 및
    렌즈의 축들이 서로(one another) 평행하고 상기 목표 공간에서 각각의 포인트 이미지들로부터 신호들 간의 즉각적인 시점(temporal)의 시차(parallaxes)의 측정에 따른 깊이 매뉴스크립트의 형성에 의해 상기 동일 평면에 위치하는, 대칭적으로(symmetrically) 집중된 비디오 카메라들 위치의 공간적 구조를 구비한, 동기화된 다각도 스테레오 TV 시스템에 의해 상기 스테레오 TV 픽업이 수행되는 것을 특징으로 하는 비디오 신호들의 스테레오 표시(representation), 및
    수평적 신호들의 방향(aspect), 수평의(of horizontal) 상대적(comparative) 구조에서 수평적 스캔 속도로부터 신호들의 이미지로부터 그것과 결합되는 신호들,
    동시에 목표 공간의 동시에 뷰 되는 라인으로부터 즉시 기록되고 비디오 신호들 및 상기 스테레오 시스템의 라인 동기화 신호에 의해 상기 오리진(origin) 셋을 구비한, 참조의 통합된(intergrated) 시점 프레임 내에 구성되는(composed in),
    상기 비디오 카메라 위치의 공간적 구조에 대한(to) 수평적 비디오 신호들의 상기 상대 구조 내의 비디오 신호들의 배치(disposition)의 유사성에 의해 식별되는 결합된 신호들 및
    상기 이미지 회로로 합성(composite) 해상도(resolution) 비디오 신호들의 송신 및 스테레오 프레임들 및 3D 이미지들의 다각도 스테레오 레프레젠테이션을 위해 대응하는 시점의 시차에 의해 상기 중앙 비디오 카메라로부터 신호들을 시프팅(shift) 함으로써 수평적 각도 비디오 신호들의 재구성을 제공하는 컴퓨팅 블록에게 리시버(receiver)를 경유하여 비디오 신호와 동기화되는 상기 깊이 매뉴스크립트 신호들의 송신을 더 구비한, 상기 중앙의 카메라 내의 상기 신호를 구비한 각도(angle) 비디오 카메라들에서 상기 결합된 신호들의 동일성(equality) 및
    프레임-바이-프레임(frame-by-frame)에 의해(with) 좌표를 계산하는 상기 목표 공간의 3D 디지털 이미지의 상기 구성 및 상기 제어 시스템들의 유용한(informative) 지원을 위해 필요한, 포함되는 객체들의 동적인 특징
    을 획득하는 TV 다각도 방법.
KR1020167003581A 2013-07-09 2014-06-30 뷰 공간에 관한 스테레오 정보를 송수신하는 방법 KR101960577B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2013131263/08A RU2543549C2 (ru) 2013-07-09 2013-07-09 Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением. система "третий глаз"
RU2013131263 2013-07-09
PCT/RU2014/000472 WO2015005826A1 (ru) 2013-07-09 2014-06-30 Способ передачи и приема стереоинформации о наблюдаемом пространстве

Publications (2)

Publication Number Publication Date
KR20160034948A true KR20160034948A (ko) 2016-03-30
KR101960577B1 KR101960577B1 (ko) 2019-03-20

Family

ID=52280358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167003581A KR101960577B1 (ko) 2013-07-09 2014-06-30 뷰 공간에 관한 스테레오 정보를 송수신하는 방법

Country Status (8)

Country Link
US (1) US10218959B2 (ko)
EP (1) EP3021287A4 (ko)
JP (1) JP2016531470A (ko)
KR (1) KR101960577B1 (ko)
CN (1) CN105556572A (ko)
HK (1) HK1222738A1 (ko)
RU (1) RU2543549C2 (ko)
WO (1) WO2015005826A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104822022A (zh) * 2015-04-18 2015-08-05 雷乔 一种多角度图像获取系统及其实现方法
TWI574547B (zh) * 2015-11-18 2017-03-11 緯創資通股份有限公司 立體影像的無線傳輸系統、方法及其裝置
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143746A (ko) * 2014-04-07 2016-12-14 노키아 테크놀로지스 오와이 스테레오 뷰잉

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2663000B2 (ja) * 1988-10-29 1997-10-15 株式会社エイ・ティ・アール通信システム研究所 奥行信号分離式立体テレビジョン装置
US5063441A (en) * 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
RU2065133C1 (ru) 1993-06-28 1996-08-10 Институт физико-технических проблем НПО "Синергия" Способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения
RU2192104C2 (ru) 1998-10-12 2002-10-27 Тверской государственный технический университет Способ получения стереоскопических телевизионных изображений
RU2202860C2 (ru) * 2001-06-08 2003-04-20 ЕЖОВ Василий Александрович Способ и устройство (его варианты) для получения объемного изображения
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
RU2322771C2 (ru) 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP2010015024A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、その制御方法、プログラム及び記憶媒体
RU2421933C2 (ru) * 2009-03-24 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ формирования и воспроизведения трехмерного видеоизображения
US8368696B2 (en) * 2009-06-19 2013-02-05 Sharp Laboratories Of America, Inc. Temporal parallax induced display
WO2011029209A2 (en) * 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
JP2011141710A (ja) * 2010-01-07 2011-07-21 National Institute Of Information & Communication Technology 奥行推定装置、奥行推定方法および奥行推定プログラム
US20130278727A1 (en) * 2010-11-24 2013-10-24 Stergen High-Tech Ltd. Method and system for creating three-dimensional viewable video from a single video stream
JP4937404B1 (ja) * 2010-12-21 2012-05-23 株式会社東芝 画像処理装置および画像処理方法
RU2474973C2 (ru) * 2011-03-23 2013-02-10 Василий Александрович ЕЖОВ Устройство стереовидения в реальном времени
RU2490819C1 (ru) 2012-02-29 2013-08-20 Сергей Александрович Соболев Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143746A (ko) * 2014-04-07 2016-12-14 노키아 테크놀로지스 오와이 스테레오 뷰잉

Also Published As

Publication number Publication date
KR101960577B1 (ko) 2019-03-20
CN105556572A (zh) 2016-05-04
WO2015005826A1 (ru) 2015-01-15
EP3021287A1 (en) 2016-05-18
US10218959B2 (en) 2019-02-26
RU2013131263A (ru) 2015-01-20
JP2016531470A (ja) 2016-10-06
HK1222738A1 (zh) 2017-07-07
RU2543549C2 (ru) 2015-03-10
EP3021287A4 (en) 2017-04-19
US20160191892A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
EP1836859B1 (en) Automatic conversion from monoscopic video to stereoscopic video
RU2769303C2 (ru) Оборудование и способ для формирования представления сцены
US8116557B2 (en) 3D image processing apparatus and method
US20200137376A1 (en) Method for generating a light-field 3d display unit image and a generating device
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
WO2014000370A1 (zh) 景深保持装置、3d显示系统及显示方法
JP6512575B2 (ja) 三次元形状情報の配信または放送の方法
Kovács et al. Quality Measurement Of 3D Light-Field Displays
KR101960577B1 (ko) 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
CN102141724A (zh) 用于产生立体图像的方法和设备
US9082210B2 (en) Method and apparatus for adjusting image depth
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR101794492B1 (ko) 다시점 영상 디스플레이 시스템
Redert et al. 3-D scene reconstruction with viewpoint adaptation on stereo displays
US9591290B2 (en) Stereoscopic video generation
RU2490819C1 (ru) Способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени
KR101779423B1 (ko) 영상처리방법 및 영상처리장치
US20150358603A1 (en) Stereoscopic focus point adjustment
US20150358607A1 (en) Foreground and background detection in a video
KR20140107973A (ko) 스테레오 영상 획득 및 시청 연동 시스템
JPH09107561A (ja) ２つのカメラの自動選択装置および２つのカメラの自動選択方法およびその用途
Zhu et al. Intermediate view synthesis based on disparity estimation and image interpolation
EP3267682A1 (en) Multiview video encoding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant