KR20050086765A - 입체시용 영상 제공 방법 및 입체 영상 표시 장치 - Google Patents

입체시용 영상 제공 방법 및 입체 영상 표시 장치 Download PDF

Info

Publication number
KR20050086765A
KR20050086765A KR1020057009345A KR20057009345A KR20050086765A KR 20050086765 A KR20050086765 A KR 20050086765A KR 1020057009345 A KR1020057009345 A KR 1020057009345A KR 20057009345 A KR20057009345 A KR 20057009345A KR 20050086765 A KR20050086765 A KR 20050086765A
Authority
KR
South Korea
Prior art keywords
image
information
data
dimensional image
stereoscopic
Prior art date
Application number
KR1020057009345A
Other languages
English (en)
Other versions
KR100739275B1 (ko
Inventor
겐 마시따니
고로 하마기시
다까히사 안도
사또시 다께모또
Original Assignee
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 산요덴키가부시키가이샤 filed Critical 산요덴키가부시키가이샤
Publication of KR20050086765A publication Critical patent/KR20050086765A/ko
Application granted granted Critical
Publication of KR100739275B1 publication Critical patent/KR100739275B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

송신측에서는, 촬영된 2차원 영상(100)에 대해 화상 분석을 행하여, 배경 영상(101), 빌딩의 영상(102), 자동차의 영상(103)을 추출한다. 이들 추출된 영상이 오브젝트로서 취급된다. 각 화소 단위 및 각 오브젝트 단위의 두께값, 및 깊이값을 나타내는 뎁스 맵.

Description

입체시용 영상 제공 방법 및 입체 영상 표시 장치{STEREOSCOPIC VIDEO PROVIDING METHOD AND STEREOSCOPIC VIDEO DISPLAY}
본 발명은 입체시용 영상 제공 방법 및 입체 영상 표시 장치에 관한 것이다.
종래 기술로서는, 2차원 영상 신호로부터 추출된 깊이 정보와 2차원 영상 신호에 기초하여 입체 영상을 생성하는 입체 영상 수신기 및 입체 영상 시스템이 제안되어 있다(일본 특허공개 2000-78611호 참조).
상기 종래 기술에 따르면, 실사의 2차원 영상으로부터 시차 정보를 부여한 입체시용(stereoscopic vision-use) 영상을 생성할 수 있다. 여기에서, 예를 들면 상기 2차원 영상에 오브젝트로서 집이 존재하고 있고, 이 영상과 볼이 구르는 영상을 합성하는 경우에 있어서, 만약 볼이 횡방향으로부터 집에 부딪치게 되는 위치에 왔을 때에는, 볼은 집에 부딪쳐 되튀도록 표시되어야만 한다. 상기 종래의 기술에서는, 깊이 정보에 의해서만 오브젝트의 표면 위치가 정의될 뿐이어서, 오브젝트와 볼의 충돌 판정은 가능하지 않았다. 따라서, 볼은 집 앞을 통과하거나, 혹은 집의 뒤를 통과하는 것으로 표시된다.
도 1의 (a), (b), (c)는 본 발명의 실시예의 입체시용 영상 제공 방법을 나타낸 설명도이다.
도 2의 (a) 및 (b)는 입체시용 영상의 전송 포맷을 예시한 설명도이다.
도 3은 충돌 판정을 나타내는 설명도로서, (a)는 영상을 나타내고, (b)는 두께 정보가 있는 경우를 나타내고, (c)는 두께 정보가 없는 경우를 나타낸다.
도 4의 (a), (b), (c)는 각각 다시점 영상(다안(multi-eye) 영상)의 취득에 대한 설명도이다.
도 5는 2개의 영상의 선택 형태를 나타낸 설명도이다.
본 발명은, 상기의 사정을 감안하여, 오브젝트에 대한 정보를 더욱더 부가하는 것 등에 의해, 다양한 입체 영상 표시를 가능하게 할 수 있는 입체시용 영상 제공 방법 및 입체 영상 표시 장치를 제공하는 것을 목적으로 한다.
본 발명의 입체시용 영상 제공 방법은, 상기의 과제를 해결하기 위해, 2차원 영상을 데이터로서 제공할 때에, 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보와, 2차원 영상상의 오브젝트의 두께 정보를, 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.
상기의 구성이라면, 2차원 영상상의 오브젝트의 두께 정보에 의해 입체시용 영상상에서도 오브젝트를 두께가 있는 것으로서 취급할 수 있게 된다. 이에 따라, 예를 들면, 입체시용 영상과 별개의 영상을 합성하는 경우에 있어서, 입체시용 영상과 이 별개의 영상과의(또는 입체시용 영상상의 오브젝트와 이 별개의 영상상의 오브젝트와의) 충돌 판정을 행하는 것 등에 이 정보를 이용할 수 있게 된다.
또한, 본 발명의 입체시용 영상 제공 방법은, 2차원 영상을 데이터로서 제공할 때에, 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보로서, 2차원 영상상의 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보와 2차원 영상상의 오브젝트의 먼 쪽 위치를 나타내는 깊이 정보를, 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.
이와 같은 구성에 있어서도, 2차원 영상상의 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보와, 2차원 영상상의 오브젝트의 먼 쪽 위치를 나타내는 깊이 정보에 의해 입체시용 영상상에서도 오브젝트를 두께가 있는 것으로서 취급할 수 있게 된다.
또한, 본 발명의 입체시용 영상 제공 방법은, 2차원 영상을 데이터로서 제공할 때에, 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보와, 2차원 영상상의 각 화소(dot)마다의 두께 정보를, 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.
상기의 구성으로, 2차원 영상상의 각 화소마다의 두께 정보에 의해 입체시용 영상상에서도 각 화소를 두께가 있는 것으로서 취급할 수 있게 된다. 이에 따라, 예를 들면, 입체시용 영상과 별개의 영상을 합성하는 경우에 있어서, 입체시용 영상상의 표시물과 이 별개 영상상의 표시물과의 충돌 판정을 행하는 것 등에 이 정보를 이용할 수 있게 된다.
또한, 본 발명의 입체시용 영상 제공 방법은, 2차원 영상을 데이터로서 제공할 때에, 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보로서, 2차원 영상상의 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보와, 2차원 영상상의 각 화소마다의 먼 쪽 위치를 나타내는 깊이 정보를, 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.
이와 같은 구성에 있어서도, 2차원 영상상의 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보와, 2차원 영상상의 각 화소마다의 먼 쪽 위치를 나타내는 깊이 정보에 의해 입체시용 영상상에서도 각 화소를 두께가 있는 것으로서 취급할 수 있게 된다.
이들 입체시용 영상 제공 방법에 있어서, 정보의 제공을 방송, 통신, 기록 매체로의 기록 중 어느 하나의 방법에 의해 행하도록 해도 된다. 또한, 초점 거리 정보 및 화각(field angle) 정보 중의 적어도 하나의 촬영시 정보를 상기 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공해도 된다.
또한, 본 발명의 입체시용 영상 제공 방법은, 다시점(multi-viewpoint)의 2차원 영상을 데이터로서 제공하는 입체시용 영상 제공 방법으로서, 시점들 간의 간격 정보, 인접 시점과 촬영 대상물이 이루는 각도 정보, 광축 교차 위치 정보, 초점 거리 정보, 및 화각 정보 중 적어도 하나의 촬영시 정보를 상기 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 한다.
상기의 구성이라면, 표시 장치가, 2차원 영상의 부속 정보로서 제공되는 촬영시 정보를 이용하여, 예를 들면, 촬영 대상물의 위치에 부합하여 시점을 선택하는 것 등이 가능해진다. 또한, 촬영 대상물의 주위에 환(circular) 형상으로 배치된 카메라에 의해 촬영될 대상물을 다시점으로 촬영했을 경우에는, 해당 촬영 대상물의 입체 영상을 삼차원 데이터내에 추가하여 이 입체 영상을 처리하는 것이 용이하게 된다.
또한, 본 발명의 입체 영상 표시 장치는, 2차원 영상의 데이터와 입체시용 정보에 기초하여 입체시용 영상의 데이터를 생성하는 수단과, 별개 영상의 데이터에 기초하여 별개의 영상을 입체시용 영상에 합성하는 수단과, 2차원 영상의 부속 정보인 2차원 영상상의 화소 또는 오브젝트의 두께 정보에 기초하여, 입체시용 영상상의 표시물과 별개 영상상의 표시물의 충돌 판정을 행하는 수단을 포함한다.
상기의 구성이라면, 2차원 영상상의 오브젝트의 두께 정보에 의해 입체시용 영상상에서도 오브젝트를 두께가 있는 것으로서 취급하여, 별개 영상의 합성에서 충돌 판정을 행하여, 이 충돌 판정에 따른 처리를 행할 수 있게 된다.
또한, 본 발명의 입체 영상 표시 장치는, 2차원 영상의 데이터와, 2차원 영상상의 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 입체시용 영상의 데이터를 생성하는 수단과, 오브젝트의 먼 쪽 위치를 나타내는 깊이 정보와, 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 오브젝트의 두께 정보를 생성하는 수단을 포함한다.
또한, 본 발명의 입체 영상 표시 장치는, 2차원 영상의 데이터와, 2차원 영상상의 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 입체시용 영상의 데이터를 생성하는 수단과, 각 화소마다의 먼 쪽 위치를 나타내는 깊이 정보와 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 각 화소마다의 두께 정보를 생성하는 수단을 포함한다.
또한, 본 발명의 입체 영상 표시 장치는, 다시점의 영상 중에서 2개의 영상을 이용하여 입체 영상 표시를 행하는 입체 영상 표시 장치로서, 시점들 간의 간격 정보, 인접 시점과 촬영 대상물이 이루는 각도 정보, 광축 교차 위치 정보, 초점 거리 정보, 및 화각 정보 중의 적어도 하나의 촬영시 정보에 기초하여 2개의 영상을 선택하는 것을 특징으로 한다.
상기의 구성이라면, 상기 2차원 영상의 부속 정보로서 제공되는 촬영시 정보에 기초하여 2개의 영상을 선택할 수 있다. 예를 들면, 촬영 대상물이 관찰자와 가까운 위치에 있는 경우에는, 시점 간 간격이 먼 2개의 영상을 선택한다. 촬영 대상물이 관찰자로부터 먼 위치에 있는 경우에는, 시점 간 간격이 가까운 2개의 영상을 선택한다.
이하, 본 발명의 입체시용 영상 제공 방법 및 입체 영상 표시 장치를 도 1 내지 도 5에 기초하여 설명할 것이다.
우선, 도 1에 기초하여 2차원 영상과 입체시용 정보(여기에서는, 깊이 정보가 입체시용 정보로서 사용된다)에 의한 입체 영상의 생성, 및 상기 2차원 영상상의 오브젝트의 두께 정보와 합성 영상에 기초한 충돌 판정에 대해 설명할 것이다. 또한, 도 1에 있어서, 시스템은, 방송국이나 인터넷상의 서버 등으로서 구성되는 송신측과, 방송 수신기나 인터넷 접속 환경을 구비한 퍼스널 컴퓨터 등으로 이루어지는 수신측으로 이루어지는 시스템으로서 설명한다.
도 1의 (a)는 실사의 2차원 영상(100)을 도시하고 있다. 송신측에서는, 2차원 영상(100)에 대해 화상 분석을 행하여, 도 1의 (b)에 도시하는 바와 같이, 배경 영상(101), 빌딩의 영상(102), 자동차의 영상(103)을 추출한다. 이들 추출된 영상이 오브젝트(예를 들면, 에지 정보)로서 취급된다. 또한, 화소 단위로 깊이값을 부여하고, 뎁스 맵(depth map)을 생성한다. 또, 오브젝트 단위로 깊이값을 부여할 수도 있다. 깊이값은 자동적(추정적)으로 부여하도록 해도 되고, 수작업적으로 부여하도록 해도 된다.
또한, 두께 정보를 부여한다. 두께 정보는 화소마다 부여해도 되고, 오브젝트마다 부여해도 된다. 오브젝트의 두께가 거의 일정한 경우(예를 들면, 오브젝트가 정면측에서 촬영된 사각의 빌딩 등의 경우)는 두께 정보를 오브젝트 단위로 부여해도 지장이 없다. 또한, 2매의 뎁스 맵을 부여해도 된다. 1매의 뎁스 맵은 가까운 쪽 위치를 나타내는 깊이 정보로 하고, 다른 1매의 뎁스 맵은 먼 쪽 위치를 나타내는 깊이 정보로 함으로써, 가까운 쪽과 먼 쪽 위치 간의 차분으로 두께가 구해지게 된다. 또한, 2매의 뎁스 맵을 부여하는 경우, 예를 들면 동화의 2차원 영상이라면, 소정 프레임의 2차원 영상에 대해서는 가까운 쪽 위치를 나타내는 깊이 정보를 부여하고, 다음 프레임의 2차원 영상에 대해서는 먼 쪽 위치를 나타내는 깊이 정보를 부여하는 것과 같이, 교대로 깊이 정보를 가까운 쪽 위치를 나타내는 깊이 정보와 먼 쪽 위치를 나타내는 깊이 정보로 전환하여도 된다.
따라서, 송신측에서는, 2차원 영상을 데이터로서 제공할 때에, 뎁스 맵과 두께 정보를, 상기 2차원 영상의 부속 정보로서 2차원 영상의 데이터와 함께 송신한다. 송신시에, 데이터 압축을 위한 처리나 멀티플렉싱 처리를 행한다. 두께 정보를 삽입하기 위한 포맷의 일례를 도 2의 (a)에 나타낸다. 이 포맷에 있어서, "식별부"에는 정보의 속성이 나타나게 되어, 여기에서 정보는 깊이 정보와 두께 정보를 나타내게 된다. "화소 번호"는 각 화소를 특정한다. "깊이 정보"는 해당 화소 번호의 화소의 깊이값이다. "두께 정보"는 해당 화소 번호의 화소의 두께 정보이다.
또한, 송신측에서는, 2차원 영상을 데이터로서 제공할 때에, 가까운 쪽 위치를 나타내는 뎁스 맵과 먼 쪽 위치를 나타내는 뎁스 맵을, 상기 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 제공하게 된다. 이 경우의 포맷의 일례를 도 2의 (b)에 나타낸다. 이 포맷에 있어서, "식별부"에는 정보의 속성이 나타나게 되며, 여기에서 정보는 깊이 정보를 나타낸다. "화소 번호"는 각 화소를 특정한다. "제1 깊이 정보"는 해당 화소 번호의 화소의 가까운 쪽 위치의 깊이값이다. "제2 깊이 정보"는 해당 화소 번호의 화소의 먼 쪽 위치의 깊이값이다.
도 1의 (c)에 도시하는 바와 같이, 수신측은 배경 영상(101), 빌딩의 영상(102), 및 자동차의 영상(103)의 각 데이터 및 부속 정보를 수신한다. 이들 데이터가 멀티플렉싱되어 있다면, 디멀티플렉싱 처리를 행한다. 각 데이터에 대한 디코딩 처리는, 기본적으로는 예를 들면 MPEG4 등에 기초한 처리 등이 채용된다. 또한, 수신측에서는, 배경 영상(101), 빌딩의 영상(102), 및 자동차 영상(103)의 각 데이터, 뎁스 맵, 및 합성용 영상(예를 들면, 컴퓨터에 의해 생성된 볼(105)의 3D 영상)에 기초하여 시차를 부여한 우안(right eye) 영상(104R) 및 좌안(left eye) 영상(104L)을 생성한다. 따라서, 수신측에는, 데이터를 수신하기 위한 수단(모뎀, 튜너 등), 디멀티플렉서, 디코더, 2차원 영상의 데이터와 입체시용 정보에 기초하여 입체시용 영상의 데이터를 생성하는 입체 영상 데이터 생성부, 및 별개 영상의 데이터에 기초하여 별개의 영상을 상기 입체시용 영상에 합성하는 영상 합성 처리부가 설치된다. 또한, 이 실시예에서, 수신측은, 입체시용 영상상의 표시물과 상기 별개 영상의 표시물의 충돌 판정을 행하는 충돌 판정부를 구비한다.
충돌 판정부에서는, 이하와 같은 처리가 행해진다. 여기에서, 설명의 간략화를 위해, 도 3의 (a)에 도시하고 있는 바와 같이, 배경 영상(101)의 깊이값이 100이고, 빌딩 영상(102)의 깊이값이 50이며, 두께값이 30이고, 자동차 영상(103)의 깊이값이 30이며, 두께값이 10이고, 합성용 영상인 볼(105)의 깊이값이 55이며, 두께값이 1이라고 한다. 이들 정보에 기초하여, 도 3의 (b)에 도시하는 바와 같이, 볼(105)은 자동차 영상(103)의 뒤편이 되는 좌표상에 위치하면서, 또한 빌딩 영상(102)의 표면으로부터 뒷면까지의 사이가 되는 좌표상에 위치한다는 판단을 할 수 있다. 또, 종래의 깊이값만의 경우를 도 3의 (c)에 참고로서 나타낸다. 이들 도면으로부터 알 수 있는 바와 같이, 본 발명의 실시예라면, 구르는 볼(105)의 진행단이 되는 화소가 빌딩의 영상(102)의 측면을 이루는 화소상에 위치했을 때, 볼(105)과 빌딩의 영상(102)이 충돌했다고 판정이 이루어진다. 이 판정 결과는, 전술한 컴퓨터로 전해지고, 이 컴퓨터는 볼(105)의 진로를 반대로 한(되튕긴) 볼(105)의 3D 영상을 생성하게 된다. 또, 깊이값만 적용된 경우에서는, 볼(105)은 빌딩의 영상(102)의 뒤쪽을 통과하게 되는 영상이 되어 버린다는 점을 주의해야 한다.
다음으로, 다시점 영상(다안 영상)의 취득에 대해 설명한다. 도 4의 (a)는 다시점 영상(실사)의 취득시의 모습을 나타내고 있다. 이 도면에서는, 촬영 대상물(오브젝트)(A)을, 카메라 1, 카메라 2, 카메라 3, 카메라 4, 카메라 5, 및 카메라 6에 의해 촬영하고 있어, 6시점의 2차원 영상이 얻어질 수 있다. 그리고, 이 6시점의 2차원 영상을 데이터로서 전송할 때에는, 시점 간격(카메라 간격)을 나타내는 정보, 광축 교차 위치를 나타내는 정보, 초점 거리 정보(피사체 거리), 및 화각 정보 중 적어도 하나의 촬영시 정보를 2차원 영상의 부속 정보로서 해당 2차원 영상의 데이터와 함께 전송한다. 도 4의 (b)는 다시점 영상(실사)의 취득시의 다른 예를 도시하고 있다. 이 예에서는, 오브젝트(A)의 주위에 환상으로 카메라 11, 카메라 12, 카메라 13, 카메라 14, 카메라 15, 카메라 16, 카메라 17, 및 카메라 18을 배치하여 오브젝트를 촬영함으로써, 다시점의 2차원 영상을 얻고 있다. 이 경우에는, 시점 간격을 나타내는 정보에 대신하여, 인접 시점(카메라)과 촬영 대상물(A)이 이루는 각도의 정보를 취득한다. 또한, 도 4의 (c)에 도시하는 바와 같이, 촬영 대상물(A)을 회전시키면서, 1대의 카메라로 촬영하는 것에 의해서도, 다시점의 2차원 영상을 얻을 수 있다. 이 때, 회전 속도도 촬영시 정보에 포함해도 된다. 도 4의 (b), (c)에 도시한 방법에 의해 얻어진 다시점의 2차원 영상과 함께 상기의 촬영시 정보가 부여됨으로써, 촬영 대상물(A)의 표면을 구성하는 각 점(표시 영상의 각 화소)에 3차원 좌표치를 부여할 수 있게 된다. 따라서, 촬영 대상물(A)(실사)을 3차원 데이터내에 추가하여 취급하는 것이 용이하게 된다(3차원 데이터내에 실사 화상을 배치하는 것이 용이해진다). 이 경우, 배경을 검정으로 하여(배경에 흑막을 배치하여), 하나의 오브젝트를 추출할 수 있도록 촬영하는 것이 바람직하다.
다시점의 2차원 영상의 데이터 및 촬영시 정보가 부여된 입체 영상 표시 장치에서는, 다시점의 영상 중에서 2개의 영상을 이용하여 입체 영상 표시를 행한다. 이 2개의 영상을 이용하는 입체 영상 표시의 방법에서는, 2개의 영상을 시간적으로 교대로 표시하여 셔텨 안경으로 보는 방법이나, 2개의 영상을 공간적으로 교대로 표시하여 패럴랙스 배리어로 영상 분리하여 보는 방법 등이 있다. 입체 영상 표시 장치는, 촬영시 정보 중의 초점 거리 정보(피사체 거리)에 의해, 표시 오브젝트의 전후 위치(가깝거나 멀거나)를 판단할 수 있다. 그리고, 도 5의 (도 5는 도 4의 (a)에 대응한 도면이다)에 도시되어 있는 바와 같이, 오브젝트(A)가 관찰자(E)와 가까울 때에는, 카메라 2와 카메라 5의 영상을 선택하고, 오브젝트(A)가 관찰자(E)로부터 멀 때에는, 카메라 3과 카메라 4의 영상을 선택한다.
이상 설명한 바와 같이, 본 발명에 따르면, 다양한 입체 영상 표시를 가능하게 할 수 있다고 하는 효과가 있다.

Claims (11)

  1. 2차원 영상을 데이터로서 제공할 때에, 상기 2차원 영상의 데이터를 입체시용(stereoscopic vision-use) 영상으로 변환하는데 도움이 되는 입체시용 정보와, 상기 2차원 영상상의 오브젝트의 두께 정보를, 상기 2차원 영상의 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  2. 2차원 영상을 데이터로서 제공할 때에, 상기 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보로서, 상기 2차원 영상상의 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보와, 상기 2차원 영상상의 오브젝트의 먼 쪽 위치를 나타내는 깊이 정보를, 상기 2차원 영상의 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  3. 2차원 영상을 데이터로서 제공할 때에, 상기 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보와, 상기 2차원 영상상의 각 화소(dot)마다의 두께 정보를, 상기 2차원 영상의 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  4. 2차원 영상을 데이터로서 제공할 때에, 상기 2차원 영상의 데이터를 입체시용 영상으로 변환하는데 도움이 되는 입체시용 정보로서, 상기 2차원 영상상의 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보와, 상기 2차원 영상상의 각 화소마다의 먼 쪽 위치를 나타내는 깊이 정보를, 상기 2차원 영상의 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 정보의 제공을 방송, 통신, 및 기록 매체로의 기록 중 어느 하나의 방법에 의해 행하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 초점 거리 정보 및 화각(field angle) 정보중의 적어도 하나의 촬영시 정보를 상기 2차원 영상의 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  7. 다시점(multi-viewpoint)의 2차원 영상을 데이터로서 제공하는 입체시용 영상 제공 방법으로서, 시점들 간 간격 정보, 인접 시점과 촬영 대상물이 이루는 각도 정보, 광축 교차 위치 정보, 초점 거리 정보, 및 화각 정보 중의 적어도 하나의 촬영시 정보를 상기 2차원 영상의 부속 정보로서 상기 2차원 영상의 데이터와 함께 제공하는 것을 특징으로 하는 입체시용 영상 제공 방법.
  8. 2차원 영상의 데이터와 입체시용 정보에 기초하여 입체시용 영상의 데이터를 생성하는 수단과,
    별개 영상의 데이터에 기초하여 별개 영상을 상기 입체시용 영상에 합성하는 수단과,
    상기 2차원 영상의 부속 정보인 상기 2차원 영상상의 화소 및 오브젝트의 두께 정보에 기초하여, 입체시용 영상상의 표시물과 상기 별개 영상상의 표시물의 충돌 판정을 행하는 수단을 포함하는 입체 영상 표시 장치.
  9. 2차원 영상의 데이터와, 상기 2차원 영상상의 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 입체시용 영상의 데이터를 생성하는 수단과,
    상기 오브젝트의 먼 쪽 위치를 나타내는 깊이 정보와, 상기 오브젝트의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 오브젝트의 두께 정보를 생성하는 수단을 포함하는 입체 영상 표시 장치.
  10. 2차원 영상의 데이터와, 상기 2차원 영상상의 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 입체시용 영상의 데이터를 생성하는 수단과,
    상기 각 화소마다의 먼 쪽 위치를 나타내는 깊이 정보와, 상기 각 화소마다의 가까운 쪽 위치를 나타내는 깊이 정보에 기초하여 각 화소마다의 두께 정보를 생성하는 수단을 포함하는 입체 영상 표시 장치.
  11. 다시점의 영상 중에서 2개의 영상을 이용하여 입체 영상 표시를 행하는 입체 영상 표시 장치로서, 시점들 간의 간격 정보, 인접 시점과 촬영 대상물이 이루는 각도 정보, 광축 교차 위치 정보, 초점 거리 정보, 및 화각 정보 중의 적어도 하나의 촬영시 정보에 기초하여 상기 2개의 영상을 선택하는 것을 특징으로 하는 입체 영상 표시 장치.
KR1020057009345A 2002-11-25 2003-09-24 입체시용 영상 제공 방법 및 입체 영상 표시 장치 KR100739275B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002340245A JP4190263B2 (ja) 2002-11-25 2002-11-25 立体視用映像提供方法及び立体映像表示装置
JPJP-P-2002-00340245 2002-11-25

Publications (2)

Publication Number Publication Date
KR20050086765A true KR20050086765A (ko) 2005-08-30
KR100739275B1 KR100739275B1 (ko) 2007-07-12

Family

ID=32375815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057009345A KR100739275B1 (ko) 2002-11-25 2003-09-24 입체시용 영상 제공 방법 및 입체 영상 표시 장치

Country Status (6)

Country Link
US (1) US20060132597A1 (ko)
EP (1) EP1571854A4 (ko)
JP (1) JP4190263B2 (ko)
KR (1) KR100739275B1 (ko)
CN (1) CN1706201B (ko)
WO (1) WO2004049735A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763753B1 (ko) * 2006-09-21 2007-10-04 에스케이 텔레콤주식회사 통신망 기반의 3차원 입체방송 서비스 시스템 및 방법
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100945307B1 (ko) * 2008-08-04 2010-03-03 에이알비전 (주) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
KR20110124911A (ko) * 2010-05-12 2011-11-18 엘지전자 주식회사 이동 단말기 및 이것의 객체 아이콘 디스플레이 방법
KR20120003564A (ko) * 2010-07-05 2012-01-11 엘지전자 주식회사 이동 단말기 및 이것의 객체 아이콘 디스플레이 방법
KR101256924B1 (ko) * 2012-05-19 2013-04-19 (주)루쏘코리아 3차원영상 제작방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100697972B1 (ko) 2004-11-16 2007-03-23 한국전자통신연구원 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법
US7586489B2 (en) * 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
JP4645356B2 (ja) * 2005-08-16 2011-03-09 ソニー株式会社 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
CN101375315B (zh) 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
CA2669016A1 (en) * 2006-11-20 2008-05-29 Thomson Licensing System and method for compositing 3d images
US20080226281A1 (en) * 2007-03-13 2008-09-18 Real D Business system for three-dimensional snapshots
US20080273081A1 (en) * 2007-03-13 2008-11-06 Lenny Lipton Business system for two and three dimensional snapshots
KR101483659B1 (ko) 2008-07-11 2015-01-16 삼성디스플레이 주식회사 입체영상 표시방법, 이를 수행하기 위한 표시장치
JP2010028456A (ja) * 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
JP4457323B2 (ja) * 2008-10-09 2010-04-28 健治 吉田 遊技ゲーム機
KR101574068B1 (ko) * 2008-12-26 2015-12-03 삼성전자주식회사 영상 처리 방법 및 장치
CN101562754B (zh) * 2009-05-19 2011-06-15 无锡景象数字技术有限公司 一种改善平面图像转3d图像视觉效果的方法
CN101562755B (zh) * 2009-05-19 2010-09-01 无锡景象数字技术有限公司 一种由平面视频制作3d视频的方法
JP5521486B2 (ja) * 2009-06-29 2014-06-11 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5405264B2 (ja) 2009-10-20 2014-02-05 任天堂株式会社 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法
JP4754031B2 (ja) 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5573349B2 (ja) 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
JP2012257105A (ja) * 2011-06-09 2012-12-27 Olympus Corp 立体画像取得装置
CN102306393B (zh) * 2011-08-02 2013-07-17 清华大学 一种基于轮廓匹配的深度扩散方法及装置
JP2018157398A (ja) * 2017-03-17 2018-10-04 株式会社リコー 情報端末、情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7492433B2 (ja) 2020-10-15 2024-05-29 シャープ株式会社 画像形成装置
CN114827440A (zh) * 2021-01-29 2022-07-29 华为技术有限公司 基于光场显示的显示模式的转换方法及转换装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749466A (ja) * 1993-08-04 1995-02-21 Sony Corp 画像表示方法
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6049341A (en) * 1997-10-20 2000-04-11 Microsoft Corporation Edge cycle collision detection in graphics environment
US6518966B1 (en) * 1998-03-11 2003-02-11 Matsushita Institute Industrial Co., Ltd. Method and device for collision detection and recording medium recorded with collision detection method
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2002025188A (ja) * 2000-07-04 2002-01-25 Hitachi Ltd 情報記憶装置、信号処理回路
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763753B1 (ko) * 2006-09-21 2007-10-04 에스케이 텔레콤주식회사 통신망 기반의 3차원 입체방송 서비스 시스템 및 방법
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
KR100945307B1 (ko) * 2008-08-04 2010-03-03 에이알비전 (주) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
KR20110124911A (ko) * 2010-05-12 2011-11-18 엘지전자 주식회사 이동 단말기 및 이것의 객체 아이콘 디스플레이 방법
KR20120003564A (ko) * 2010-07-05 2012-01-11 엘지전자 주식회사 이동 단말기 및 이것의 객체 아이콘 디스플레이 방법
KR101256924B1 (ko) * 2012-05-19 2013-04-19 (주)루쏘코리아 3차원영상 제작방법

Also Published As

Publication number Publication date
CN1706201A (zh) 2005-12-07
JP2004179702A (ja) 2004-06-24
EP1571854A4 (en) 2011-06-08
CN1706201B (zh) 2012-02-15
EP1571854A1 (en) 2005-09-07
JP4190263B2 (ja) 2008-12-03
US20060132597A1 (en) 2006-06-22
WO2004049735A1 (ja) 2004-06-10
KR100739275B1 (ko) 2007-07-12

Similar Documents

Publication Publication Date Title
KR100739275B1 (ko) 입체시용 영상 제공 방법 및 입체 영상 표시 장치
CN101636747B (zh) 二维/三维数字信息获取和显示设备
Woods et al. Image distortions in stereoscopic video systems
EP1836859B1 (en) Automatic conversion from monoscopic video to stereoscopic video
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US20110026809A1 (en) Fast multi-view three-dimensional image synthesis apparatus and method
JP4942106B2 (ja) 奥行データ出力装置及び奥行データ受信装置
US20090027384A1 (en) Method of Identifying Pattern in a Series of Data
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
US20060171028A1 (en) Device and method for display capable of stereoscopic vision
WO2002044808A3 (en) System and method for spherical stereoscopic photographing
CN111541887B (zh) 一种裸眼3d视觉伪装系统
EP3349444A1 (en) Method for processing media content and technical equipment for the same
KR20160034948A (ko) 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
JP2012134885A (ja) 画像処理装置及び画像処理方法
KR20090034694A (ko) 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
KR101046580B1 (ko) 영상처리장치 및 그 제어방법
CN113313744B (zh) 一种无人飞行器高度及位置显示方法
KR102241060B1 (ko) 미소거울배열을 이용하는 무안경 집적 영상 디스플레이 방법
Jung et al. Evaluation of perceived depth resolution in multi-view threedimensional display using depth image-based rendering
Rhee et al. Stereoscopic view synthesis by view morphing
RU2146856C1 (ru) Система объемного телевидения
Wu Depth measurement in integral images.
KR20210111600A (ko) 다중 화각 카메라를 활용한 전방위 뎁스 영상 생성 기반 이동수단 모니터링 시스템 및 방법
CN102769763B (zh) 三维影像摄相机及其相关控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130620

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140702

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150617

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160617

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee