KR20070042989A - 2차원 이미지들로부터 인공 부산물이 없는 3차원이미지들을 생성하는 방법 - Google Patents

2차원 이미지들로부터 인공 부산물이 없는 3차원이미지들을 생성하는 방법 Download PDF

Info

Publication number
KR20070042989A
KR20070042989A KR1020077002183A KR20077002183A KR20070042989A KR 20070042989 A KR20070042989 A KR 20070042989A KR 1020077002183 A KR1020077002183 A KR 1020077002183A KR 20077002183 A KR20077002183 A KR 20077002183A KR 20070042989 A KR20070042989 A KR 20070042989A
Authority
KR
South Korea
Prior art keywords
image
dimensional images
hidden surface
surface area
artificial
Prior art date
Application number
KR1020077002183A
Other languages
English (en)
Inventor
마이클 씨. 케이
찰스 제이. 엘. 베스트
Original Assignee
인-쓰리 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인-쓰리 인코포레이티드 filed Critical 인-쓰리 인코포레이티드
Publication of KR20070042989A publication Critical patent/KR20070042989A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

숨겨진 면적 영역과 인접한 이미지 부분이 일치되도록 숨겨진 면적 영역을 3차원 동영상을 구성하는 프레임의 순서대로 추적하는 단계를 포함하는 2차원 이미지를 3차원 이미지로 전환하는 방법이 제공된다.
Figure 112007008490114-PCT00001
표면 영역, 인공 부산물, 추적, 일치

Description

2차원 이미지들로부터 인공 부산물이 없는 3차원 이미지들을 생성하는 방법{Method for creating artifact free three-dimensional images converted from two-dimensional images}
본 발명은 2차원 이미지로부터 높은 품질의 사실적인 이미지를 생성하기 위하여 손실된 이미지 정보에 의한 영역을 수정하기 위한 방법에 관련된 것이다.
2차원 이미지를 3차원 이미지로 전환하는 데 있어서, 어떤 변환이나 묘사 처리과정이 사용된다 하더라고 이와는 무관하게 적어도 2개의 시야각 이미지가 필요하다. 2차원 이미지를 3차원 이미지로 전환하는 작업의 한 예를 들면, 원래 이미지는 좌측에서 바라보거나 좌측 시야각 이미지로 확정되면서 3차원 이미지 쌍 중 하나를 제공한다. 위의 예에서 대응되는 우측 시야각 이미지는 우측 시야각 프레임으로서 역할을 하는 원본 이미지와 어울리는 우측 시야각 모습을 효과적으로 재현함으로써 원본 이미지로부터 처리된다.
2차원 이미지로부터 3차원 시야각 이미지를 생성하는 과정에서 상기 예와 같이 이미지 안의 객체나 객체의 부분은 수평축을 따라 혹은 X 축을 따라 위치가 재 설정될 수 있다. 위의 예에서 이미지 내의 사물은 아마지 내의 화소 부분을 둘러서 그리거나 윤곽을 그림으로써 "정의"될 수 있다. 일단 위의 사물이 정의되면, 다른 시야각 모습에서 객체를 수평축을 따라 이동시킴으로써 결과물인 3차원 이미지에서의 적절한 깊이가 해당 객체에"할당"된다. 3차원 이미지를 생성하기 위하여 깊이 할당 알고리즘 혹은 이와 같은 것은 적절한 깊이 위치에 사물을 위치시키는 목적으로 사물에 할당될 수 있다.
반대측 시야각 모습을 생성하는 경우, 이미지내의 사물의 재배치는 화소 데이터가 결정되지 않거나 부정확한 이미지의 구역을 초래할 수 있다. 예를 들면, 좌측 이미지내의 객체의 면적과 위치를 우측 시야각 관점에 상응하도록 변경함으로써 객체의 수평축 이동은 이미지 정보의 손실에 따른 분리 공간을 초래할 수 있으며, 이는 정확하지 않을 경우 객체가 프레임에서 프레임으로 이동하기 때문에 객체의 가장자리 부근의 화소가 깜빡이거나 열렸다 닫히는 현상과 같이 시각적으로 인지할 만한 인공 부산물들이 발생하게 된다.
위의 관점에서, 본 발명은 전환 인공 부산물을 제거하거나 현저히 감소시키는 방식으로 2차원 이미지로부터 높은 품질의 사실적인 3차원 이미지를 생성할 수 있도록 하는데 그 목적이 있다.
본 발명은 2차원 이미지로부터 높은 품질의 사실적인 이미지를 생성하기 위하여 손실된 이미지 정보에 의한 영역을 수정하기 위한 방법에 관련된 것이다. 본 발명은 전체 길이의 동영상뿐만 아니라 단편적인 3차원 정지 이미지에도 적용가능 하다.
이미지를 3차원 이미지의 일부로서 생성해 내는 경우 이미지의 시각이나 바라보는 각도가 변할 때 새로 생성된 이미지내의 전경을 거쳐 배경의 객체의 가장자리의 이미지 정보는 화면의 다른 투시 각도로 인하여 드러나게 된다. 이 영역을 "숨겨진 표면 영역"이라고 한다.
본 발명의 설명에서는 "숨겨진 표면 영역"이라는 용어는 화면의 다른 투시 각도에 의할 때는 숨겨지지만 화면의 새로운 투시 각도를 생성함으로써 드러나게 되는 영역을 의미하는 것이다.
이러한 숨겨진 표면 영역은 때때로"폐색된 영역" 또는 "폐색된 이미지 영역"을 의미하기도 한다. 그럼에도 불구하고 이러한 영역들은 화면의 새로운 각도로 인하여 생기거나 화면 안에 나타나게 되는 전경에서 배경까지 사물의 가장자리에 나타나는 손실정보 영역들이다. 이미지들의 하나의 입체 쌍들에서 이러한 숨겨진 표면 영역은 두 개의 이미지 중 하나에서만 발생되고 다른 하나에서는 발생되지 않는다.
만일 이미지가 3차원 사진촬영 된 이미지인 경우에 객체의 모서리의 정보는 이미지 정보를 포함하고 있다. 2차원에서 3차원으로 전환된 이미지(깊이 정보의 개조)의 경우에는 새로 만들어진 투시 각 이미지는 이 숨겨진 표면 영역에 정보를 포함하고 있지 않다. 이 숨겨진 표면 영역에 이미지 정보가 없으면 시각적인 인공 부산물이 인식 가능하게 된다. 인공 부산물이 없는 깨끗한 3차원 이미지의 재구성이나 전환을 제공하기 위해서 이 숨겨진 표면 영역에 정보가 부여되어야 한다.
숨겨진 표면 영역 또는 폐색된 영역의 손실된 정보를 정정하거나 재구성 하는 것은 깊이 회복(2차원에서 3차원으로) 작업의 일부이며 "숨겨진 표면 영역 재구성"이라고 표현한다.
숨겨진 표면 영역이 비록 깊이 인지의 주된 부분이라고 하더라도 이 영역은 만일 주의 집중이 이 영역을 향하게 된다면 다른 시각적 감각을 가져오게 된다. 이 정보는 오직 하나의 눈에 의해서만 보이기 때문에 이 정보는 다른 감각을 초래할 수 있다. 시각적 감각의 본질과 인간의 뇌가 본 것을 이해하는 방법은 아래에 설명되어 있다.
시각적 인지는 3개의 근본적인 경험적인 감각들을 포함하고 있다. 첫 번째 경험은 두 개의 눈이 완전히 동일한 이미지 예를 들면 평평한 표면 즉, 사진이나 영화를 보는 경우 경험하게 되는 시각적 감각이다. 하나의 눈이 감기고 오로지 하나의 눈만으로 경험한 것과 비슷한 감각일 것이다. 그러나 두 번째 감각은 각각의 눈이 동시에 각각의 상대적인 시야각에서 객체에 초점이 맞추어지는 경우 경험하는 것이다. 이 시각적 감각은 정상적인 3차원 모습으로 경험되는 것이다. 3차원 모습의 일부로써 세 번째 시각적 감각이 있는데 이것은 말하자면 다른 쪽 눈으로는 인지하지 못하거나 다른 쪽 눈이 인지하는 것과는 다른 이미지 정보를 한쪽 눈만 보는 경우의 경험이다. 이 불일치를 보게 되면, 시각적 감각은 두 눈으로 같은 이미지 정보를 보는 것과 다르게 느끼게 된다. 좌측 안구와 우측 안구의 이러한 불균형이 인간이 전경과 배경의 정보를 구분하고 초점을 맞추는데 도움을 줄 뿐만이 아니라 더 중요하게는 시각적인 집중 신호를 생성할 수 있다.
서로 통일된 3차원 이미지로서 인지하는 시각적 처리과정을 가능하게 하는 것은 객체의 가장자리를 따라 배치된 이미지의 내용의 통일성과 균일성이다. 반대로, 이러한 숨겨진 표면 영역의 정보가 인접한 주변과 어긋나기 시작하면, 시각적 판단은 이 영역에 주의를 환기시키게 되며 이 영역을 산란한 인공 부산물로 인식한다. 두뇌가 인간의 시각적 감각이 그러한 이미지 인공 부산물을 산란하고 실제적이 아닌 것으로 의식적으로 인지하도록 자극하는 것은 이러한 차이가 매우 커지고 이미지의 특정 영역의 자연스러운 이미지 정보의 흐름과 불일치 하는 때이다. 따라서 숨겨진 표면 영역은 2차원 이미지를 3차원 이미지로 전환할 때 역점을 두어 다룰 필요가 있는 중요한 요소이다.
도 1A은 잘못된 화소 반복 방법이 적용되고 좌측으로 이동된 전경 객체와 함께 배경 체 및 배경 객체를 나타낸 도면.
도 1B는 인공 부산물을 최소화 하기 위하여 화소 반복이 적용된 올바른 방법과 함께 도 1A의 전경 객체와 배경 객체를 나타낸 도면.
도 1C은 우측으로 이동된 전경 객체 및 화소 반복이 적용된 잘못된 방법과 함께 배경 객체 및 배경 객체를 나타낸 도면.
도 1D는 인공 부산물을 최소화 하기 위하여 화소 반복이 적용된 올바른 방법과 함께 도 1C의 전경 객체와 배경 객체를 나타낸 도면.
도 2 A는 숨겨진 표면 영역을 드러나도록 하면서 좌측으로 혹은 전경 안으로 이동된 전경의 객체 즉 사람을 포함하는 이미지를 나타낸 도면.
도 2B는 순차적인 프레임 안에서 다른 위치로 이동한 전경의 객체에 의하여 이전에 숨겨진 이용 가능한 화소를 드러내는 도 2A의 이미지의 순차적인 프레임을 나타낸 도면.
도 3A는 숨겨진 표면 영역을 드러내는 틈을 남기면서 위치를 이동한 임의의 객체를 나타낸 도면.
도 3B는 배경 패턴를 가진 도 3A의 객체를 나타낸 도면.
도 3C는 화소 반복으로부터 초래된 인식 가능한 인공 부산물을 가진 숨겨진 표면 재구성의 나쁜 예를 나타낸 도면.
도 3D는 숨겨진 표면 재구성의 좋은 예를 나타낸 도면.
도 4A는 숨겨진 표면 영역의 중앙을 향하여 화소가 반복되는 방법의 예를 나타낸 도면.
도 4B는 자동적으로 숨겨진 표면 영역을 나누고 숨겨진 표면 영역에 인접한 소스 선택 영역을 각각의 나누어진 숨겨진 표면 영역 안에 위치시키는 예를 나타낸 도면.
도 4C는 숨겨진 표면 영역을 위한 최고의 이미지의 내용을 찾아내기 위하여 도 4B의 소스 선택 영역이 독립적으로 변경되는 방법의 예를 나타낸 도면.
도 4D는 전체 숨겨진 표면 영역을 인접한 재구성 소스 영역으로부터 빠르게 재구성하는 방법의 예를 나타낸 도면.
도 4E는 숨겨진 표면 영역을 위한 최고의 이미지의 내용를 찾아내기 위하여 도 4D의 소스 선택 영역이 독립적으로 변경되는 방법의 예를 나타낸 도면.
도 5A는 위치 안에서 이동하는 객체의 예를 나타낸 도면.
도 5B는 숨겨진 표면 영역이 재구성 되는 숨겨진 표면 영역의 선택을 표시하기 위한 방법의 예를 나타낸 도면.
도 5C는 재구성 되기 위하여 도 5B에서 선택된 숨겨진 표면 영역의 영역에 바로 인접하게 자동적으로 생성되는 재구성 소스 영역의 예를 나타낸 도면.
도 5D는 도 5C의 재구성 선택 영역을 잡아서 끌어 당기는 사용자의 예를 나타낸 도면.
도 5E는 숨겨진 표면 영역을 위한 더 나은 이미지의 내용을 찾기 위하여 도 5C1의 재구성 소스 영역을 다른 위치로 이동시키는 사용자의 다른 예를 나타낸 도면.
도 5F는 더 나은 후보 영역으로 재구성 소스 영역을 사용자가 재배치시키는 일치된 패턴을 가지는 좋은 이미지 재구성의 예를 나타낸 도면.
도 5G는 바람직하지 않은 후보 영역으로 재구성 소스 영역을 사용자가 재배치시키는 불 일치된 패턴을 가지는 나쁜 이미지 재구성의 예를 나타낸 도면.
도 6A 및 도 6B는 수평으로 재구성 소스 영역을 좌측 및 우측 가장자리로부터 각각 사이즈를 줄이기 위하여 사용자 도구가 사용되는 방법을 나타낸 도면.
도 6C는 재구성 소스 영역의 위치를 점진적으로 이동시키기 위하여 사용자 도구가 사용되는 방법을 나타낸 도면.
도 6D는 숨겨진 표면 영역을 재구성하는 방법이 자동적으로 재구성 소스 영역 의 이미지 내용을 숨겨진 표면 영역 내로 비율을 다시 맞추는 방법의 예시를 나타낸 도면.
도 7A는 숨겨진 표면 영역을 재구성하는 예시적인 방법이 사용자로 하여금 재구성 소스 영역을 객체와 숨겨진 표면 영역이 인접한 경계선에서부터 숨겨진 표면 영역의 바깥쪽 가장자리까지의 거리만큼 숨겨진 표면 영역에서 확대된 것으로 나타나게 하도록 허용하는 방법을 나타낸 도면.
도 7B는 숨겨진 표면 영역을 재구성하는 예시적인 방법이 사용자로 하여금 숨겨진 표면 영역의 경계선을 따라 시작점과 종료점을 가리키도록 허용하며 숨겨진 소스 영역으로부터 경계선을 잡아서 끌어당기도록 허용하는 방법을 나타낸 도면.
도 8은 다른 프레임으로부터의 소스 이미지 내용을 이용하는 숨겨진 표면 재구성의 예를 나타낸 도면.
도 9는 재구성 작업 프레임을 이용하는 예를 나타낸 도면.
도 10은 이미지 객체가 프레임에서 프레임으로 어떻게 흔들리는 지를 나타낸 도면.
도 11A, 11B, 11C 및 11D는 객체의 움직임의 가장 먼 지점을 발견하는 방법의 예를 나타낸 도면.
도 12A는 배경 객체와의 관계에서 숨겨진 표면 영역을 남기면서 위치를 이동한 전경 객체와 숨겨진 표면 영역을 재구성하는데 사용되는 소스 영역의 예를 나타낸 도면.
도 12B는 이동된 도 12A의 배경 객체와 숨겨진 표면을 재구성하는 방법의 한 예가 변화를 추적하는 소스 영역을 초래하는 방법을 나타낸 도면.
도 12C는 도 12B의 방법의 예가 초래한 결과를 나타낸 도면.
도 13A는 배경 객체가 사이즈가 변화할 때 배경 객체내의 소스 영역이 숨겨진 표면 영역에 대한 위치를 유지하게 하도록 하는 숨겨진 표면 재구성 방법의 예를 나타낸 도면.
도 13A는 배경 객체가 모양이 변화할 때 배경 객체내의 소스 영역이 숨겨진 표면 영역에 대한 위치를 유지하게 하도록 하는 숨겨진 표면 재구성 방법의 예를 나타낸 도면.
도 13A는 배경 객체가 위치가 변화할 때 배경 객체내의 소스 영역이 숨겨진 표면 영역에 대한 위치를 유지하게 하도록 하는 숨겨진 표면 재구성 방법의 예를 나타낸 도면.
도 14A는 소스 데이터 영역이 재구성 될 숨겨진 표면 영역보다 어떻게 클 수 있는지를 나타낸 도면.
도 14B 및 14C는 숨겨진 표면 재구성 방법의 예가 어떻게 소스 데이터 영역이 배경 객체의 변화를 추적하는지를 나타낸 도면.
도 15A는 수풀이나 나뭇가지의 배경 객체에 대한 전경 객체의 예를 나타낸 도면.
도 15B는 전경 객체가 이동하면서 숨겨진 표면 영역을 드러내는 예를 나타낸 도면.
도 15C는 도 15B의 예와 함께 화소 반복의 결과를 나타낸 도면.
도 15D는 먼저 위치가 이동된 도 15A의 객체를 나타낸 도면.
도 15E는 숨겨진 표면 영역을 덮기 위하여 숨겨진 표면 영역에 인접한 이미지 의 내용을 반사시키거나 뒤집어서 숨겨진 표면 영역을 재구성하는 예시적인 방법을 나타낸 도면.
도 15F는 도 15E의 반사시킨 최종 결과를 나타낸 도면.
도 16A는 숨겨진 표면 영역을 채울 소스 선택 영역의 크기를 줄이는 방법의 예시를 나타낸 도면.
도 16C는 소스 선택 영역 1608이 회전되는 방법의 예시를 나타낸 도면.
도 16B는 숨겨진 표면 영역을 채울 소스 선택 영역의 크기를 늘리는 방법의 예시를 나타낸 도면.
도 16C는 숨겨진 표면 영역을 채울 소스 선택 영역이 회전되는 방법의 예시를 나타낸 도면.
도 17A는 체인이 연결된 담장무늬의 배경 객체에 대한 전경 객체의 예시를 나타낸 도면.
도 17B는 숨겨진 표면 영역에 화소를 반복시키기 위하여 전경 객체가 이동된 도 17A를 나타낸 도면.
도 17C은 도 17B의 예에서 화소가 반복된 결과를 나타낸 도면.
이와 달리 도 17D 내지 17F는 숨겨진 표면 영역 1706을 덮기 위하여 숨겨진 표면 영역에 인접한 이미지의 내용을 반사시키거나 뒤집어지고 그리고 재배치시켜 겨진 표면 영역을 재구성하는 예시적인 방법을 나타낸 도면.
도 17D는 숨겨진 표면 영역 1706을 덮기 위하여 숨겨진 표면 영역에 인접한 이미지의 내용을 반사시키거나 뒤집는 숨겨진 표면 영역을 재구성하는 예시적인 방법을 나타낸 도면.
도 17E는 숨겨진 표면 영역 안에 반사시킬 최적의 소스 이미지의 내용을 찾기 위하여 소스 영역을 재배치 시키는 방법을 나타낸 도면.
도 17F는 숨겨진 표면 영역을 채우기 위하여 선택된 소스 화소가 잘 맞을 때 도 17E의 반사 및 재배치의 최종 결과를 나타낸 도면.
도 18은 본 발명에 의한 이미지 처리 기술을 구현하기 위한 시스템 및 작업장의 예시를 나타낸 도면.
이미지 인공 부산물 정정 도구들:
본 발명의 다양한 실시예들은 2차원 이미지를 3차원 이미지로 전환하는 작업을 수행하는 동안에 인공 부산물의 반복되는 화소를 최소하거나 줄이는 단계를 포함한다. 도 1A는 전경 객체 102, 배경 객체 103 및 상대 시각 이미지를 생성하기 위하여 좌측으로 이동된 전경의 객체 102를 도시하고 있다. 화소를 반복하는 잘못된 방법의 예로서, 배경 화소들이 숨겨진 표면 영역 108의 우측 가장자리 106으로부터 가로건너 반복된다(사선으로 표시됨). 도1B는 전경의 객체 102의 바로 뒤에 있는 객체의 배경 화소가 숨겨진 표면 영역 108의 좌측 가장자리 110과 우측 가장 자리 112로부터 숨겨진 표면 영역 108의 중앙 114까지(사선으로 표시됨) 반복된다. 이 예에서, 그림 1B에서 보는 바와 같이, 배경객체 104의 영역 내에서만 반복된다. 따라서, 이 예에서, 인공 부산물을 최소화하거나 줄이는 화소 반복 방법이 제공된다.
도 1C는 잘못된 화소 반복 방법의 다른 예를 보여주고 있다. 이 예에서, 전경의 객체 102는 상대 시각 이미지를 생성하기 위하여 우측으로 이동되었는데, 배경의 화소가 숨겨진 표면 영역 108의 좌측 전체 가장자리를 가로질러 반복되고 있다. 도 1D는 배경 객체 104의 화소 반복의 예를 도시하고 있는데 여기서 배경 객체 104의 화소만이 반복된다.
이미지의 내용에는 위에서 묘사된 화소 반복 접근법과는 다른 방법으로 상대 시각 이미지상의 틈을 채우는 방법이 제공된다. 게다가, 2차원 이미지를 3차원 이미지로 전환하는 작업이 진행되는 동안 어떤 경우에는 위치가 이동되는 객체 주변의 정보는 위에서 언급한 화소 반복 접근법에 적당하지 않을 수 있다.
"2차원 이미지로부터 정확한 3차원 이미지를 생성하기 위하여 숨겨진 표면 영역을 재구성 하는 방법"으로 명명된 미국 특허 출원 번호 10/316,672에는 예를 들어 다른 프레임에서 언제든 드러날 수 있는 정확한 이미지 정보의 회복을 허용함으로써 이미지 객체의 주면 영역과 일치되는 숨겨진 표면 영역에 정확한 그림 정보를 복구하는 것이 설명되어 있다. 많은 경우에, 이는 숨겨진 표면 영역은 다른 프레임들에서 접근이 가능하기 때문에 이상적인 방법이고 사용자 환경은 적절한 시기에 그 정보의 쉬운 접근과 검색을 제공한다. 전형적인 동영상 장면은 15만 프레임 이상을 포함할 수 있기 때문에 허용 가능한 시간 안에 전체 길이의 동영상을 처리하기 위하여 사용자에게 신속하게 작업하도록 허용하는 도구는 필수적이다.
본 발명에 의하여 2차원 이미지를 3차원 이미지로 전환하는 다양한 방법들의 중요한 장점은 오로지 한 개의 추가적인 무료 이미지의 생성만이 필요하다는 것이다. 원래의 이미지는 원래의 시각의 하나로서 성립되고 따라서 손대지 않은 상태로 남아 있게 된다. 3차원 쌍 이미지를 완성하는데 오직 하나의 이미지만 추출할 필요가 있기 때문에 숨겨진 표면 영역을 보정함으로써 3차원 이미지 전환 작업을 끝마치는 것은 매우 큰 장점이 있다. 숨겨진 표면 영역의 보정 작업은 3차원 이미지 중 하나에서만 발생할 필요가 있고 두 개에서는 필요하지 않다. 만일 두 개의 시각 이미지에서 숨겨진 표면 영역의 처리가 필요하였다면, 두 배의 작업량이 필요했을 것이다. 따라서 여러 실시예에서는 숨겨진 표면 영역의 재구성은 오직 하나의 시각에서만 발생할 필요가 있을 뿐이다.
본 발명에 의하여 2차원 이미지를 3차원 이미지로 전환하는 다양한 방법 등의 다른 장점은 원래의 화소들이 객체에 의하여 덮어지고 또 개방된다고 할 지라도 원래의 화소들은 여전히 유용하다는 것이다. 하나의 예시적인 구성에 따르면 원래의 이미지 화소는 항상 유지되거나 저장된다.
도 2A는 전경의 객체 202 즉, 거리를 가로질러 가는 사람이 전경 속의 좌측으로 이동하면서 정보가 손실된 숨겨진 표면 영역 204을 초래하는 이미지 200 의 예시를 도시하고 있다. 이 예에서, 숨겨진 표면 영역 204는 객체의 새로운 위치의 우측 부분이며 객체가 차지하였던 이미지의 원래 영역 안에 있다. 이미지 200가 인 공 부산물이 없는 사실적인 상대 시각 모습으로서 제공되기 위해서, 숨겨진 표면 영역 204의 숨겨진 표면 재구성은 시각적 감각이 숨겨진 표면 영역을 그 주변으로 인식하고 그것이 인공 부산물이라고 인식하지 않도록 하기 위해서 주변 배경과 일치될 필요가 있다. 생성된 상대 시각 이미지는 반드시 그 이미지가 그 이미지의 모습의 시야각에서 바라 보일 이미지를 정확하게 표현하여야 한다. 예로써 설명하면, 숨겨진 표면 영역 204의 재구성은 같은 이미지 200안에 존재하는 다른 영역의 이미지 정보를 수용하는 것에 관여할 수 있다. 또한 예로써 설명하면, 그리고 도 2B를 참조하면, 숨겨진 표면 영역의 재구성은 다른 이미지 200'안에 존재하는 영역의 이미지 정보를 수용하는 것에 관여할 수 있다. 이 예에서, 그 이미지 200'는 이미지 200(도 2A)의 프레임과 연속적인 이미지이며 다른 위치로 이동한 전경의 객체 202에 의하여 이전에 숨겨졌던 사용 가능한 배경 화소의 영역 206을 드러낸다.
도 3A는 새로 생성된 상대 시각 프레임 안의 전경 안으로 배치된 객체의 예를 도시한 도면이다. 객체를 전경 안으로 이동시킴으로써, 그 객체는 좌측으로 이동되면서 그림정보가 손실된 간격을 초래한다. 이 예에서 도 3A는 원래의 위치 302(사선으로 표시됨)로부터 좌측으로 이동하면서 숨겨진 표면 영역 304를 드러내는 틈을 남겨두는 객체 300을 도시한다. 도 3B는 예시적인 배경 패턴 306이 부가된 도 3A의 객체 300과 숨겨진 표면 영역 304를 도시한다. 도 3C는 배경의 패턴 306의 우측 가장자리 310를 따라 화소가 숨겨진 표면 영역을 수평으로 가로질러 반복되는 경우 생성된 숨겨진 표면 재구성 패턴 308을 도시한다. 이 잘못된 숨겨진 표면 재구성의 예에서 교차된 배경 패턴 306의 다른 자연스러운 흐름이 숨겨진 표면 재구 성 패턴 306의 수평 줄무늬 배열로 인하여 깨어져 버린다. 이 이미지 불일치의 예는 이 숨겨진 표면 재구성 패턴 308으로 시각을 집중시키게 되며, 따라서 이미지 인공 부산물로써 인식될 수 있는 결과를 초래한다. 도 3D는 숨겨진 표면 영역 304의 올바른 재구성의 예를 도시한다. 이 예에서, 숨겨진 표면 재구성 패턴 310은 그 패턴이 인접한 배경 패턴 306과 일치하거나 자연스러운 흐름을 갖는 것으로 보이도록 제공된다. 이 예에서, 숨겨진 표면 재구성 패턴 310은 보통의 인간의 시각이 주변과 일치되는 것으로 쉽게 받아들여 지며, 따라서 어떠한 시각적 인공 부산물도 없는 결과를 초래한다.
다양한 실시예에 있어서, 숨겨진 표면 영역은 다중 방향으로 반복됨으로써 재구성된다. 도 4A는 숨겨진 표면 영역 402의 중앙을 향하여 화소가 반복되는 방법의 예를 도시한다. 이 예에서, 배경 화소는 숨겨진 표면 영역을 가로질러 외부의 좌측 경계선 404와 우측 경계선 406으로부터 수평으로 중앙을 향하거나 혹은 숨겨진 표면 영역 402를 나눈다. 본 발명의 일 실시예에서, 만일 전경의 객체가 원래의 위치로부터 완전히 벗어나게 되는 경우에는 디폴트(default) 값의 화소 패턴이 적용될 수 있는데, 여기서 여러 개의 화소들은 어떤 화소의 주어진 열에 대하여 수평으로 반복되거나 다른 이미지 요소들은 좌측 및 우측 경계 404, 406으로부터 중앙 408까지 같거나 대칭이다. 이러한 방식으로 화소를 반복하는 것은 자동화 될 수 있고 디폴트(default) 이미지 재구성 모드로 제공될 수 있는데 예를 들면, 숨겨진 표면 영역의 다른 이미지 의 내용을 유저가 선택하기 전에 제공될 수 있다. 다른 실시예에서는 예를 들면, 화소들은 다른 방향(예를 들면 수직 방향)으로 반복될 수 있고, 화소들은 다른 방향으로 반복될 수 있거나 숨겨진 표면 영역의 한 점을 향하도록 반복될 수 있다(예를 들면 중심선이나 바람직하게는 중심점).
본 발명의 바람직한 일 실시예에서는 2차원 이미지로부터 인공 부산물이 없는 3차원 이미지를 제공하는 방법은 3차원 이미지의 일부인 이미지내의 숨겨진 표면 영역을 인식하는 단계 및 숨겨진 표면 영역의 측면으로부터 숨겨진 표면 영역의 중심을 향하여 화소를 반복함으로써 숨겨진 표면 영역내에서 이미지의 내용을 재구성하는 단계를 포함한다.
도 4B는 숨겨진 표면 영역을 자동적으로 나누고 숨겨진 표면 영역에 인접한 소스 선택 영역을 나누어진 숨겨진 표면영역의 각각의 부분에 배치시키는 단계를 포함한다. 위 예에서, 숨겨진 표면 영역 412은 좌측 부분 414및 우측 부분 416으로 나뉘고, 숨겨진 표면 영역 412 바깥쪽의 소스 선택 영역들 418,420은 각각 좌측 및 우측 부분 414,416에 이미지의 내용을 제공하기 위하여 선택된다. 이 예에서, 소스 선택 영역 418,420은 같은 사이즈이고 각각 숨겨진 표면 영역의 좌측 및 우측 부분 414,416의 형태이다. 이 방법 및 이와 유사한 방법은 숨겨진 표면 영역을 원하는 어느 수의 부분으로도 나눌 수 있고 원하는 어떠한 방법으로도 나눌 수 있다.
본 발명의 다양한 실시예에서는 소스 선택 영역은 편의를 위하여 또는 더 좋은 뿐 아니라 이미지 정보에 더 정확하게 들어 맞는 것을 선택하기 찾기 위하여 수정될 수 있다. 예를 들면, 그리고 도 4C를 참조하면, 도 4B의 소스 선택 영역은 숨겨진 표면 영역에 최상의 이미지의 내용을 찾기 위하여 독립적으로 변경될 수 있다. 이 예에서, 소스 선택 영역 418'와 420'는 (각각 숨겨진 표면 영역의 좌측 및 우측 부분인 416 및 416과 같은 크기와 모양이지만 이미지내의 다른 화소를 포함하도록 위치되어 있음) 소스 선택 영역 418 및 420을 대신하여 선택된다(도 4B).
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 인공 부산물이 없는 3차원 이미지를 제공하는 방법은 3차원 이미지의 부분인 이미지내의 숨겨진 표면 영역을 인식하는 단계, 이미지의 내용을 변경하기 위하여 하나 이상의 다중 소스 영역을 조정하는 단계 및 숨겨진 표면 영역을 재구성하기 위하여 이미지의 내용을 이용하는 단계를 포함한다.
본 발명의 바람직한 다른 실시예에서는 단일한 소스 영역이 숨겨진 표면 영역을 재구성하기 위하여 사용될 수 있다. 도 4D는 전체 숨겨진 표면 영역 422를 인접한 재구성 소스 영역 424(점선영역으로 표시됨)로부터 빠르게 재구성하는 방법의 예시를 도시한 것이다. 이 예에서 재구성 소스 영역 424는 숨겨진 표면 영역 422와 동일한 크기와 모양이며, 그리고 재구성 소스 영역 424의 전체 영역은 숨겨진 표면 영역 422를 재구성하는데 필요한 이미지 정보를 획득하기 위하여 사용된다.
본 발명의 바람직한 다양한 실시예에서 재구성 소스 영역은 숨겨진 표면 영역에 따라서 크기와 모양이 수정될 수 있다. 도 4E는 숨겨진 표면 영역 422를 위한 대체 이미지의 내용을 찾기 위하여 도 4D의 재구성 소스 영역이 대체 재구성 소스 영역 424'의 모양으로 변경될 수 있는 방법의 예를 도시한 것이다. 이 예에서 재구성 소스 영역 424'는 숨겨진 표면 영역 422와 비교하여 너비에서 수평으로 압축되어 있고, 이미지 선택 내용은 숨겨진 표면 영역 내에서 확대되는 데 예를 들면 숨겨진 표면 영역 422를 채우기 위해서이다.
본 발명의 다양한 실시예는 사용자가 재구성 영역으로서 공급될 화소들의 그룹을 선택하고 재구성 영역을 위하여 이미지의 내용으로써 공급될 화소의 그룹들을 결정하도록 허용하는 도구를 수반한다. 도 5A는 숨겨진 표면 영역 504 뒤에 남아 있는 위치 안에서 이동하는 객체 502의 이동의 예를 도시한다. 예시적인 도구는 사용자로 하여금 이동된 객체에 바로 근접한 화소 영역을 쉽고 빠르게 선택할 수 있도록 허용하도록 설정된다. 도 5B는 숨겨진 표면 영역이 재구성 되는 영역 선택을 표시하기 위한 방법의 예시를 도시한다. 이 예에서, 사용자는 재구성 되는 선택 영역 510의 시작점 506과 종료점 508을 선택한다. 선택 영역 510은 시작점 506과 종료점 508사이의 객체의 경계 512 및 시작점 506에서 시작하고 종료점 508에서 종료되는 선택 경계 514에 의하여 정의된다. 예로써 설명하면 객체의 경계 512와 선택 경계 514사이의 거리는 객체 502가 얼마나 이동되었는지에 대한 함수로써 결정된다. 또한 예시로서 설명하면, 이 거리는 디폴트(default) 값이나 사용자가 수작업으로 입력한 값으로 정하여 질 수 있다.
도 5C는 재구성 되기 위하여 선택 영역 510에 바로 인접하게 자동적으로 생성되는 재구성 소스 영역 516의 예(예를 들어 디폴트임)을 도시한다. 이 예에서 재구성 소스 영역 516은 선택 영역 510과 동일한 크기와 모양을 갖는다. 도 5D와 5E에서 보는 것과 같이 본 발명의 바람직한 다양한 실시예는 또한 사용자에게 재구성 영역 516를 재배치 시키는 것(예를 들어 잡아서 끌어 당김)을 허용할 수 있다. 본 발명의 바람직한 다양한 실시예는 재구성 소스 영역 516을 회전시키고, 사이즈를 변화시키거나 재구성 정보를 선택하기 위하여 어떤 모양으로든 왜곡시킬 수 있다. 도 5F는 일치되는 패턴을 가진 바람직한 이미지 재구성의 예를 도시한다. 이 예에서, 사용자는 재구성 소스 영역 516을 배경 518에서 선택 영역 510으로 우수한 패턴 연속성을 가지면서 전이되는 방식으로 재배치시킨 것이다. 도 5G는 사용자가 재구성 소스 영역 516을 재구성 이미지의 내용에 대한 좋지 않은 후보 영역에 재배치시킨 인공 부산물을 초래하는 불 일치된 패턴의 저질의 이미지 재구성의 예를 도시한다.
본 발명의 바람직한 실시예들은 사용자로 하여금 재구성 소스 선택 영역의 사이즈를 변경하고 모양을 바꾸고, 회전하고 그리고 재배치시키거나 각각 변경하거나 모양을 바꾸거나 회전하거나 재배치시킬 수 있다. 도 6A 및 도 6B는 예시적인 객체 602 및 숨겨진 표면 영역 606과 사용자가 수평으로 재구성 소스 영역 604를 좌측 및 우측 가장자리로부터 각각 사이즈를 어떻게 줄일 수 있는지 도시한 것이다. 도 6C는 사용자가 재구성 소스 영역 604의 위치를 어떻게 점진적으로 이동시킬 수 있는 지를 도시한 것이다. 이 예에서, 사용자는 특정 수의 화소로 재구성 소스 영역 604(숨겨진 표면 영역 606에 상응함)의 너비를 점진적으로 늘리거나 줄일 수 있다. 다르게는, 재구성 소스 영역 604의 너비는 연속적인 다양한 방식으로 조정될 수 있다. 도 6D는 숨겨진 표면 영역을 재구성하는 방법이 자동적으로 재구성 소스 영역 604를 숨겨진 표면 영역 606 내로 비율을 다시 맞추는 방법의 예시를 나타낸 것이다. 예를 들면, 도 6D에서 묘사된 바와 같이, 만일 사용자가 재구성 소스 영역을 선택하고 선택된 영역의 너비를 줄인다면, 선택 영역에 포함된 화소들은 숨겨진 표면 영역 606안에서 수평으로 팽창된다.
본 발명의 바람직한 일 실시예에서, 2차원 이미지로부터 인공 부산물이 없는 3차원 이미지를 제공하는 방법은 3차원 이미지의 일부인 숨겨진 표면 영역을 식별하는 단계, 이미지 내용의 소스 영역을 식별하는 단계, 소스 영역의 경계를 이미지의 내용을 변형시키기 위하여 조정하는 단계 및 상기 변형된 이미지를 숨겨진 표면 영역을 재구성 하기 위하여 사용하는 단계를 포함한다.
본 발명의 바람직한 다양한 일 실시예는 사용자에게 선택된 화소 정보가 숨겨진 표면 영역에 다시 들어 맞게 하기 위한 하나 이상의 "방식"을 제공한다. 예시의 방법으로써, 어떤 방식은 선택 영역으로부터 숨겨진 표면 영역까지 직접 일 대 일 대응하도록 도울 수 있다. 다른 예시적인 방식은 선택된 소스 영역의 크기가 숨겨진 표면 영역의 크기에 비하여 어떤 크기이든 자동적으로 크기배율 조정이 가능하도록 할 수 있다. 본 발명의 바람직한 일 실시예에서, 만일 사용자가 단일 화소 단위까지 선택 영역의 너비를 줄인 경우에 같은 화소 정보가 숨겨진 표면 영역 안을 가로 질러 채워지는데 마치 그것은 가로 질러서 반복된 화소인 것과 같이 된다. 다른 예의 방식에서는 일 대 일 관계가 선택 영역내의 화소들과 숨겨진 표면 영역에 적용된 것 사이에 존재하게 된다.
도 7A는 좌측으로 이동된 객체 702와 이로 인한 객체의 경계 710에 의하여 경계 지어진 숨겨진 표면 영역 704와 외부 경계 712(점선으로 도시됨)가 도시된다. 도시된 바와 같이 숨겨진 표면 영역을 재구성 하는 방법의 예시는 외부 경계 712로 경계 지어진 재구성 소스 영역 706을 자동으로 생성하는 방식을 사용자로 하여금 선택할 수 있도록 하며, 여기서 숨겨진 표면 영역 704를 가로지르는 거리(객체의 경계 710으로부터 외부 경계 712까지)는 인접 거리를 결정하는 데 사용된다. 본 발명의 바람직한 다양한 실시예에서는, 일단 생성되면, 재구성 소스 영역 706은 이동될 수도 있거나 다른 방법으로 변경될 수 도 있다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공하는 방법은, 3차원 이미지의 일부인 이미지내의 숨겨진 표면 영역에 대하여, 숨겨진 표면 영역의 경계 부분을 비율적으로 팽창시킴으로써 재구성 영역에 인접한 소스 영역을 지시하는 단계, 및 상기 소스 영역에 상응하는 이미지의 내용을 숨겨진 표면 영역를 재구성하는데 사용하는 단계를 포함한다.
본 발명의 바람직한 다른 일실시예에서 도 7B는 숨겨진 표면 영역을 재구성하는 예시적인 방법이 사용자로 하여금 숨겨진 표면 영역 704의 경계선 712을 따라 시작점 714 와 종료점 716을 가리키도록 허용하며 외부 경계선인 712를 잡아서 끌어당겨 외부 경계선 712와 선택된 경계선 718에 의해 경계 지어지는 재구성 소스 영역 716을 형성하도록 허용하는 방법을 도시한다. 본 발명의 바람직한 다양한 실시예에서 선택된 화소 영역은 정의 되고 그리고 붙잡아 늘림으로써 변경되거나 또는 정의되거나 변경될 수 있고 또는 원하는 영역의 경계선을 구부려 질 수도 있다.
"2차원 이미지로부터 정확한 3차원 이미지를 생성하기 위하여 숨겨진 표면 영역을 재구성 하는 방법"으로 명명된 미국 특허 출원 번호 10/316,672에는 객체가 이동하면서 숨겨진 표면 영역이 드러나기 때문에 사용자로 하여금 다른 프레임 내의 숨겨진 표면 영역 정보를 획득하는 것을 허용하는 것으로 해당 방법이 설명되어 있다. 이미지로부터 손실된 정보가 보통은 그 이미지 내의 유용한 이미지의 내용을 이용하여 재구성 될 수 있다고 하더라도, 원래의 그림 다른 프레임으로부터 원래의 그림 정보를 이용할 수 있다면 이용하는 것이 때로는 더욱 정확하다.
도 8은 다른 프레임의 이미지의 내용을 이용하여 숨겨진 표면을 재구성하는 예시를 나타낸 것이다. 본 발명의 바람직한 다양한 실시예는 사용자로 하여금 여러 개수의 이미지나 프레임으로부터 화소들을 획득하도록 디자인된 상호적인 도구들을 포함할 수 있다. 이 기능은 유용한 화소들이 이미지 내의 다른 위치에서 드러날 뿐만 아니라 적절한 시간의 다른 순간에 다른 프레임에서 드러날 수 있다는 사실과 조화된다. 도 8은 하나 이상의 프레임으로부터의 화소들로 이미지 800(프레임 10)의 화소 메움 틈새가 채워진 예를 과장되게 나타낸 것이다. 예시의 방법으로써, 대화식의 사용자 환경은 사용자로 하여금 화소 메움 영역 801을 나누어(예를 들어 타블릿 펜 802으로) 다른 프레임들의 다른 화소 집합들을(이 경우에는 프레임 1과 4) 화소 메움 영역 801 각각의 부분들에 대해 이용할 수 있도록 한다. 유사하게 화소 메움 영역 803은 화소 메움 영역 803의 각 부분에 대해 프레임 25와 26으로부터 추출한 다른 화소 메움 정보를 이용하도록 나누어 질 수 있다. 이상적으로는, 사용자에게 최적으로 배경 화소들과 일치하고 잘 들어맞는 정보를 획득하기 위하여 이미지나 프레임들의 어떤 조합으로부터도 화소 메움 정보를 획득할 수 있는 완벽한 유연성이 제공된다.
본 발명의 바람직한 다양한 실시예들은 효과적이고 정확한 방법으로 여러 프레임들을 사용자로 하여금 정정하도록 허용하는 도구를 포함한다. 예를 들면, 일단 사용자가 순차적인 3차원 이미지를 제공하기 위하여 전환 작업(예를 들면 캘리포니 아(Califonia), 아고라 힐(Agoura Hills)의 인-쓰리(In-Three) 주식회사에 의해 개발된 디멘져널리재트(DIMENSIONALIZATION)작업을 적용하면, 본 발명의 다양한 실시예들은 그 사용자에게 3차원 이미지의 순서에 맞게 숨겨진 표면 영역을 재구성할 수 있는 능력을 제공한다.
본 발명의 바람직한 다양한 실시예들은 사용자로 하여금 한 프레임의 숨겨진 표면 영역을 재구성하기 위하여 사용되었던 같은 정보를 순차적 이미지들의 다른 프레임의 숨겨진 표면 영역을 재구성 하기 위하여 사용하도록 허용하는 도구를 포함할 수 있다. 이것은 사용자가 각각의 매 프레임의 숨겨진 표면 영역을 재구성할 필요성을 제거 시킨다. 도 9를 참조하면, 재구성 작업 프레임 900이 복수개의 소스 프레임("프레임1", "프레임4", "프레임 25"및 "프레임 56"으로 표시됨)으로부터 이미지 재구성 정보의 영역을 재구성하는데 사용된다. 재구성 작업 프레임 900은 그 이상의 이미지 프레임으로부터 이미지 정보를 조합하는데 사용될 수 있다. 재구성 작업 프레임 900으로부터의 재구성 정보는 복수개의 프레임들에서 반복하여 계속 사용될 수 있다. 이 예에서 보여지는 바와 같이, 재구성 작업 프레임 900 내에서 조합된 재구성 정보는 이미지 901(프레임 901이라고 표시됨)의 숨겨진 표면 영역을 재구성하는데 사용될 수 있다. 사용자로 하여금 복수개의 재구성 작업 프레임들을 생성, 저장 및 접근할 수 있도록 허용하는 상호적인 도구가 또한 제공될 수 있다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공하는 방법은 하나 이상의 프레임들의 이미지 정보의 부분 들을 하나 이상의 재구성 작업 프레임 안에 조합하는 단계 및 순차적인 3차원 이미지의 부분들인 하나 이상의 이미지들의 이미지 영역을 재구성하는데 상기 조합된 이미지 정보의 부분들을 이용하는 단계를 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공하는 방법은 하나 이상의 프레임들의 이미지 정보의 부분들을 하나 이상의 재구성 작업 프레임 안에 조합하는 단계 및 순차적인 3차원 이미지의 부분들인 하나 이상의 이미지들의 이미지 영역을 재구성하는데 상기 조합된 이미지 정보의 부분들을 이용하는 단계, 이미지 데이터를 수신하고 접근하는 단계 및 보는 사람이 깊이를 인지하는 바에 의하여 3차원 이미지로써 이미지를 재생산하는 단계를 포함한다.
순차적인 이미지에 대하여 숨겨진 표면 영역을 재구성하는 데 있어서 하나의 중요한 면은 시간의 경과에 의하여 객체가 이동하는 바에 따른 하나의 프레임으로부터 다음 프레임까지의 관계이다. 다른 프레임으로부터 높은 품질의 그림 정보가 숨겨진 이미지 영역을 재구성하는데 사용된다고 할지라도(각각의 프레임은 개별적으로 보았을 때에는 수용 가능한 일치 정도를 가지는 것으로 보임), 전체적인 진행 순서는 여전히 시각적으로 숨겨진 재구성 영역이 프레임간에 일치성을 보장할 수 있도록 할 필요성이 있다. 프레임간 다르고 불일치하거나 또는 다르거나 불일치 하는 보정으로 빠르게 연속적으로 각 프레임이 전진하면서 움직임 인공 부산물이 눈에 띌 수 있다. 그러한 보정은 숨겨진 표면 영역의 보정이 전혀 시도되지 않은 경우에 비하여 더 나쁜 결과를 초래할 수도 있다. 움직이는 경우 보정된 영역의 연속 성을 제공하기 위하여, 본 발명의 바람직한 다양한 실시예들은 이하에서 복수개의 이미지 프레임에 걸쳐 숨겨진 표면 영역의 보정을 추적하는 단계를 포함하는 것을 묘사한다.
흔들리는 영역 탐색:
순차적인 동영상 이미지의 객체는 전형적으로 고정된 위치에 머무르지 않는다. 객체가 고정되어 있더라도, 미세한 움직임이 일어나는 경향이 있다. 숨겨진 표면 영역을 재구성하는 본 발명의 다양한 실시예에는 객체의 움직임을 고려하거나 추적한다. 그러한 기능은 다양한 환경에서 유용하다. 예시의 방법으로, 그리고 도 10에 언급된 것과 같이, 인간의 머리가 순차적인 프레임에서 사이드에서 사이드로 움직이면서 숨겨진 표면 영역의 재구성에 가치 있는 숨겨진 그림 정보를 드러낼 것이다. 이 예에서, "프레임 A"에서 "프레임 B"로, "프레임 C"로 시간이 진행되면서 연속적 프레임이 상대적 샷으로 보이거나 생각되더라도 미묘한 움직임이 발생한다. 도 10 안의 이미지 1001에서 보이는 바와 같이 객체의 윤곽이 겹치는 경우에 미묘한 위치 변화가 더욱 잘 보이게 된다.
본 발명의 다양한 실시예는, 시간 순차를 나타내는, 순차적인 프레임을 선택하여 객체가 그 시간 순차 내에서 움직이면서 나타나는 그 객체의 최대량의 숨겨진 표면 영역을 획득하는 것을 허용하는 도구와 연동할 수 있다. 도 11A 내지 11D는 순차적인 이미지에 대하여 재구성하기 위한 최대치의 숨겨진 표면 영역을 자동적으로 결정하기 위한 특징의 예시를 나타낸다. 이 특징은 최대의 사용자가 재구성할 최대의 영역을 결정하기 위한 시도를 하기 위하여 여러 개의 프레임 중 선별해 내야만 하기 보다는 최대의 숨겨진 표면 영역이 자동적으로 결정되기 때문에 사용자로서 시간을 절약할 수 있게 한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공하는 방법은 순차적인 3차원 이미지로부터 복수개의 이미지들을 식별하는 단계, 적어도 두 개의 이미지 내에서 공통되는 이미지 물에의 경계선의 변화를 결정하기 위하여 복수개의 이미지를 처리하는 단계, 및 시간과 움직임을 나타내는 순차적인 프레임을 따라 이미지 객체의 경계가 변하면서 이미지 객체의 변화에 상응하는 최대 숨겨진 표면 영역을 결정하기 위하여 상기 경계선 안의 변화를 분석하는 단계를 포함한다.
재구성 영역 추적:
위에서 언급한 바와 같이 동영상에서 프레임간에 객체가 완전하게 정지한 채로 머무는 때는 드물다. 고정된 카메라 샷 이라고 하더라도 보통 미묘한 움직임이 있다. 게다가, 카메라는 종종 전경 객체의 움직임을 추적할 것이다. 이는 전경 객체와의 관계에서 배경 객체가 움직이는 결과를 초래한다. 객체의 움직임이 발생하면서, 그것이 미묘한 것이라도, 재구성 영역이 객체 움직임과 일치되도록 머무르기 위해서 재구성 영역의 일부인 그 객체들을 추적하는 것은 종종 중요하다. 재구성 영역이 재구성 영역의 일부인 객체의 움직임을 추적하지 않는 경우, 예를 들어 고정된 재구성 영역은 산란한 인공 부산물로 보일 수 있다.
도 12A는 배경 1204과의 관계에서 숨겨진 표면 영역을 남기면서 위치를 이동한 전경 객체 1202와 숨겨진 표면 영역 1206을 재구성하는데 사용되는 소스 영역 1208의 예를 나타낸다. 도 12B는 이동된 배경 객체 1204와 숨겨진 표면을 재구성하는 방법의 한 예가 변화를 추적하는 소스 영역 1208을 초래하는 방법을 나타낸다. 이 예에서, 도 12C에서 도시된 바와 같이 소스 영역이 다른 프레임에서 변하면서 그 소스 영역 1208이 새로운 객체의 위치를 추적하게 된다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 순차적인 3차원 이미지의 일부인 한 이미지 내의 숨겨진 표면 영역을 재구성하는데 사용되는 이미지 정보의 소스 영역의 변화를 추적하는 단계 및 숨겨진 표면 영역을 재구성하는데 있어서 이미지의 내용을 정의하는 소스 영역을 숨겨진 표면 영역에 근접한 영역의 변화에 대응하여 조정하는 단계를 포함한다. 도 13A는 배경 객체 1304와의 관계에서 숨겨진 표면 영역 1306을 남겨 두고 이동한 전경 객체 1304 및 숨겨진 표면 영역 1306을 재구성하는데 사용되는 소스 영역 1308을 나타낸다. 이 도면은 배경 객체 1304가 사이즈가 변화할 때 소스 영역1302가 숨겨진 표면 영역 1306에 대한 위치를 유지하게 하는 숨겨진 표면 재구성 방법을 도시한다. 이 예에서, 배경 객체 1304는 사이즈가 줄었지만 소스 영역 1308은 숨겨진 표면 영역 1306과의 관계에서 소스 영역의 위치를 유지하고 있다. 도 13B는 배경 객체 1304의 모양이 변할 때 숨겨진 표면 영역 1306에 대하여 소스 영역 1308이 위치를 유지하게 하는 숨겨진 표면 재구성 방법의 일 실시예를 나타낸다. 도 13C는 배경 객체 1304의 위치가 변할 때 숨겨진 표면 영역 1306에 대 하여 소스 영역 1308이 위치를 유지하게 하는 숨겨진 표면 재구성 방법의 일 실시예를 나타낸다. 이 예에서, 소스 영역 1308은 더 일치된 숨겨진 표면 영역 1306의 재구성을 제공하기 위하여 프레임과의 관계에서 소스 영역의 위치를 유지한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 3차원 동영상을 구성하는 순차적인 프레임에 걸쳐서 숨겨진 표면 영역에 근접한 이미지 영역과 일치시키기 위하여 숨겨진 표면 영역의 이미지 재구성을 추적하는 단계를 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 순차적인 3차원 이미지에 걸쳐서 3차원 이미지의 한 부분인 이미지내의 객체, 즉 그 이미지 내의 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체의 변화를 추적하는 단계 및 그 소스 영역을 객체의 변화에 대응하게 조정하는 단계를 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 숨겨진 표면 영역의 주변과 일치되는 이미지 정보로 프레임 안의 숨겨진 표면 영역을 재구성 하기 위하여 순차적인 동영상 프레임 내의 숨겨진 표면 영역을 추적하는 단계 및 보는 사람이 깊이를 인지할 수 있게 하는 3차원 이미지로서의 프레임을 제공하기 위하여 데이터를 수신하고 접속하는 단계를 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 숨겨진 표면 영역의 주변과 일치되는 이미 지 정보로 프레임 안의 숨겨진 표면 영역을 재구성 하기 위하여 순차적인 동영상 프레임 내의 숨겨진 표면 영역을 추적하는 단계 및 보는 사람이 깊이를 인지할 수 있게 하는 3차원 이미지로서의 프레임을 재생산하는 단계를 포함한다.
어떤 경우에는 과장되거나 불균형한 예들이 제공되었다는 사실은 이해되어야 한다. 도면에서 소스 영역이 숨겨진 표면 영역과 동일한 크기이더라도 실제로는 소스 영역이 재구성 영역을 둘러싸서 객체의 모양, 크기, 및 위치 또는 모양 또는 크기 또는 위치의 변화를 허용하기 충분할 정도로 넓을 수 있다. 본 발명의 바람직한 다양한 실시예에서, 소스 영역이 숨겨진 표면 영역을 채우기에 충분히 넓은 경우, 오직 소스 영역의 일부만이(예를 들면 숨겨진 표면 영역과 동일한 크기와 모양을 가진 부분) 숨겨진 표면 영역을 채우는데 사용될 수 있다. 그러한 실시예에서는 소스 영역의 남은 부분은 객체의 움직임이나 객체에 가하여진 변화들을 허용하기 위한 이미지의 내용으로 비축된다. 밑에서 언급된 바와 같이 드러나 버린 숨겨진 표면 영역 밖의 화소의 재구성을 방지하거나 적어도 최소화하는 것은 중요하다.
I. 알파 채널 선택 영역 재구성:
다양한 실시예들은 자동적으로 숨겨진 표면 영역의 재구성을 숨겨진 표면 영역 내의 화소로 제한하는 기능을 포함할 수 있다. 도 14A는 소스 데이터 영역 A가 숨겨진 표면 영역 B를 재구성하는 것을 나타낸다. 위에서 언급된 바와 같이, 재구성 소스 영역은 숨겨진 표면 영역보다 넓을 수 있다. 이 예에서, 소스 데이터 영역 중 숨겨진 표면 영역 B와 겹치는 부분만이 사용된다: 소스 데이터 영역 A의 남은 부분은 어떤 방식으로 숨겨지는 데, 예를 들면 알파채널을 적용하여 낮은 불투명 정도를 할당하거나(예를 들어 영), 반대로 높은 투명도를 할당하는 것이다. 따라서, 만일 소스 이미지가 숨겨진 표면 재구성 영역보다 넓은 경우에는 도 14A에서와 같이 재구성 영역의 폐쇄된 영역과 교차되는 소스 이미지 부분만이 사용된다. 이는 죄측 및 우측 시각 프레임 사이의 시각적 불일치를 추가함 없이 크기가 큰 소스 이미지를 겹치게 하는 것을 가능하게 하여, 그것에 의하여 프레임 순서에서 숨겨진 표면 영역 재구성에 대한 더 큰 유연성을 제공하게 된다. 이를 끝까지 설명하기 위하여, 도 14B 및 14C는 숨겨진 표면 재구성 방법의 예가 어떻게 소스 데이터 영역이 배경 객체의 변화를 추적하는지를 나타낸다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 순차적인 3차원 이미지에 걸쳐서 3차원 이미지의 한 부분인 이미지내의 객체, 즉 그 이미지 내의 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체의 변화를 추적하는 단계 및 그 객체의 변화에 의존하는 숨겨진 표면 영역을 제구성하는데 사용할 소스 영역의 부분을 선택하는 단계를 포함한다.
II. 숨겨진 표면 재구성 영역 변형을 추적함:
한번 숨겨진 표면 재구성 영역이 정의되고 순차적인 하나의 프레임에서 재구성되면, 프레임간 이미지 일치성과 사용자 효율성 모두를 위하여 재구성 영역안의 변형이 순차적으로 진행되거나 따라오는 프레임의 집합에 걸쳐서 추적되는 것이 가 능하도록 하는 기능을 갖는 것이 중요하고, 그리고 원래의 숨겨진 표면 재구성 영역을 재구성하는데 사용되는 소스 이미지를 변형된 재구성 영역에 들어맞도록 변형시키는 것이 중요하다. 따라서, 본 발명의 바람직한 실시예들은 사용자가 오직 단일 프레임안의 영역을 재구성하고 그 재구성이 순차적인 이전 영역 및 이후 프레임 또는 이전 또는 이후 프레임의 관련된 영역에 대한 유효한(일치된) 재구성을 생성하도록 하는 방법을 제공한다. 구현을 위한 접근의 예들이 이하 설명된다.
재구성 영역 변형을 이후 연장하여 결정함
Ⅲ. 경계간에 동일 구조 맞춤 기법
"2차원 이미지로부터 정확한 3차원 이미지를 생성하기 위하여 숨겨진 표면 영역을 재구성 하는 방법"으로 명명된 미국 특허 출원 번호 10/316,672에는 2차원으로부터 3차원으로의 변환 과정으로 생성된 제 2의 시야각 프레임에서 객체의 이동으로 숨겨진 표면 영역이 생성되어 드러나게 된 2차원에서 3차원으로 전환된 이미지의 영역을 자동으로 결정하는 방법이 설명되어 있다. 일단 드러난 영역이 결정되면, 어느 다른 프레임에서도 관련된 영역이(만일 존재한다면) 자동적으로 결정될 수 있다. 따라서, 순차적인 어느 프레임의 재구성 영역이 주어지면, 그 순차적인 어느 다른 프레임에서도 관련된 재구성 영역의 존재를 결정하고 그 관련된 영역의 모양을 결정하는 방법이 제공된다.
일단 원래의 프레임내의 재구성 영역과 관련된 제 2의 프레임 내의 재구성 영역이 결정되면, 두 영역 사이의 근사하게 동일한 모양의 맞춤이 경계선으로부터 계산된다. 적절하게 이 맞춤이 제 2의 프레임 안의 재구성 영역을 위한 재구성 소스 영역을 자동으로 생성하기 위하여 원본 이미지에 사용된 재구성 영역에 적용될 수 있다.
IV. 특정한 화소 이미지 추적 기법
일반적으로, 사용자는 다른 이미지(예를 들면, 패턴 맞춤 , 이미지 차별화 등의 기술을 구현을 통하여 순차적인 앞 또는 위의 프레임)내에서 추적되거나 발견될 수 있는 이미지 내의 어떤 개수의 포인트들도 정의할 수 있다.
특정한 화소 추적/인식 방법에 대하여는, 예시로의 방법으로써, 사용자가 순서내에 있는 이전 혹은 이후 프레임에서 추적하기 위한 재구성 영역 근처의(재구성 영역 내에서는 추적할 유효한 이미지 화소가 없기 때문임), 그러나 바깥쪽의, 적절한 중요한 화소들을 선택할 수 있다. 각각의 추적된 화소들의 동작은 재구성의 원하는 영역의 공간으로 객체의 변형의 대략 위치적으로 동형의 지도를 다시 작성하기 위하여 그룹으로 일어나도록 할 수 있다. 위의 섹션 I에서처럼, 이 지도는 새로운 프레임을 위한 재구성 소스 영역을 생성하기 위하여 원래의 소스 이미지에 적용될 수 있다.
V. 방법들의 비교:
위에서 언급된 두 기법이 지역적으로 동형의 지도가 순차적인 인접한 프레임 들에 걸쳐 이미지 화소의 본체의 변형을 근사한다는 점에서는 비교되지만, 두 기법 사이에 있어서, 필요한 입력과 지도를 작성하는 방법은 매우 다르다.
섹션 I에서 논의된 방법은 경계 정보에만 의존할 뿐 사용자에게 지도의 작성을 위한 입력을 요구하지 않는다. 일반적으로 이는 이미지 경계가 매우 정확하게 들어맞는 맞춤을 만들어 내지만 내부의 행동을 정확하게 반영하지 않을 수 있다. 즉, 변형내의 내부 조건들이 경계선의 조건에 의하여 전체적으로 결정될 수 있다고는 가정될 수 없다는 것이다. 그러나, 순차적인 여러 프레임에 걸쳐, 지도 작성은 일반적인 것이 되면 재구성 영역의 재구성 영역을 위한 근사한 소스 영역이 그 순서에 걸쳐 일반적인 것이 될 것이다. 숨겨진 표면 영역의 경계가 순차적인 어떤 주어진 프레임의 원래의 프레임 시각에서 보인다는 사실에 결합해 보면, 두개의 프레임 시야각 사이에서 원하지 않는 불일치를 일반적으로는 생성하지는 않을 것이다.
섹션 Ⅱ에서 논의된 방법은 더 많은 사용자에게 입력을 요하게 되나-추적된 화소의 형식으로 요함-, 그러나 재구성되고 있는 객체의 변형에 대하여 더 광범위한 데이터와 지형적인 경계 데이터를 짝짓기 위하여 경계로부터의 데이터뿐만이 아니라 재구성 영역 바깥쪽 부분의 데이터를 이용할 수 있다. 차례로, 이 방법은 변형되는 재구성 영역내부에서 일어나는 것들을 더욱 정확하게 묘사할 수 있다. 각각의 사례마다 다르다면, 정확도의 가능한 차이가 더 많은 입력 데이터의 이용을 가치 있게 할 수 있는지 결정될 수도 있다.
거울 패턴 선택:
다양한 본 발명의 실시예에서는 소스 영역을 반사시킴으로써 숨겨진 표면 영역에 이미지 정보를 제공하는 기능을 가질 수 있다. 어떤 경우에는, 소스 영역의 인접 영역을 뒤집거나, 반사시킴으로써 숨겨진 표면 영역을 적절히 재구성할 수 있다(예를 들면, 숨겨진 표면 영역 반대로 채워진 소스 영역 근처로부터 패턴을 반사시킴으로써 재구성할 수 있음). 그러한 반사작업에 자주 적당한 소스 영역의 예는 수풀의 이미지, 나뭇가지의 무리들 및 담장 패턴을 포함한다. 도 15A는 수풀이나 나뭇가지의 배경 객체 1504에 대한 전경 객체 1502의 예를 나타낸다. 도 15B는 전경 객체 1502가 이동하면서 숨겨진 표면 영역 1506을 드러내는 예를 나타낸다. 도 15C에 나타난 바와 같이 만일 단순한 화소 반복 방법이 사용되면 결과물인 패턴 1508은 인접 패턴(배경 객체 1504의 패턴)과 매우 불일치하여 그 반복된 패턴 1508은 산란한 인공 부산물로 인식될 것이다. 이와 달리 도 15D 내지 15F는 숨겨진 표면 영역 1506을 덮기 위하여 숨겨진 표면 영역에 인접한 이미지의 내용을 반사시키거나 뒤집어서 숨겨진 표면 영역을 재구성하는 예시적인 방법을 나타낸다. 이 예에서, 숨겨진 표면 영역 1506과 겹쳐지도록 하기 위하여 보이는 바와 같이 배경의 객체 1504의 이미지의 내용은 뒤집어 진다. 이 예에서, 도 15F에서 보이는 바와 같이, 숨겨진 표면 영역 1506과 겹쳐지는 뒤집어진 영역만이 이미지내의 화소들을 재구성하는 데 사용된다(예를 들어, 상기 언급된 것과 같이 알파-혼합이 적용됨). 따라서 본 발명의 다양한 실시예들은 자동 반사 기능을 제공한다.
본 발명의 다양한 실시예들은 사용자로 하여금 소스 선택 영역이나 "후보 영역"들의 위치나 크기를 조정할 수 있는 도구를 보유한다. 도 16A는 좌측으로 이동 하면서 숨겨진 표면 영역 1602와 숨겨진 표면 영역 1604를 채울 후보 소스 선택 영역 1608(점선으로 표시됨)을 포함하는 배경 1606을 나타낸다. 도 16A는 소스 선택 영역 1608의 크기를 수직 및 수평 모두로 줄이는 방법의 예시를 나타내고 있다. 도 16B는 소스 선택 영역 1608의 크기를 늘리는 방법의 예시를 나타내고 있다. 도 16C는 소스 선택 영역 1608이 회전되는 방법의 예시를 나타낸다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 3차원 이미지의 일부인 이미지 내의 숨겨진 표면 영역을 식별하는 단계, 숨겨진 표면 영역에 인접한 이미지의 소스 영역을 식별하는 단계 및 소스 영역으로부터 반사된 형태의 이미지의 내용으로 숨겨진 표면 영역을 재구성 하는 단계를 포함한다.
도 17A는 체인이 연결된 담장무늬의 배경 객체 1704에 대한 전경 객체 1702의 예시를 나타낸 것이다. 도 17B는 전경 객체 1702가 움직이면서 숨겨진 표면 영역 1706을 드러내는 것을 나타낸 것이다. 도 17C에 나타난 바와 같이 만일 단순한 화소 반복 방법이 사용되면 결과물인 패턴 1708은 인접 패턴(배경 객체 1704의 패턴)과 매우 불일치하여 그 반복된 패턴 1708은 산란한 인공 부산물로 인식될 것이다. 이와 달리 도 17D 내지 17F는 숨겨진 표면 영역 1706을 덮기 위하여 숨겨진 표면 영역에 인접한 이미지의 내용을 반사시키거나 뒤집어지고 그리고 재배치시켜 숨겨진 표면 영역을 재구성하는 예시적인 방법을 나타낸다. 이 예에서, 동작 속도의 관점에서 숨겨진 표면 영역 1706과 동일한 크기인 선택 영역 1710의 이미지의 내용은 보여지는 바와 같이 뒤집어져서 숨겨진 표면 영역 1706에 바로 겹쳐진다. 도 17E에 의하면, 사용자는 보이는 바와 같이 더 잘 맞도록 하기 위한 더 나은 선택 영역으로 선택 영역 1710을 붙잡아 움직이도록 선택할 수 있다. 본 발명의 바람직한 일 실시예에서, 상호적인 사용자 환경은 사용자가 선택 영역 1710을 이동시키면서, 소스 정보가 실시간으로 숨겨진 표면 영역 1706에 나타나도록 설정될 수 있다. 도 17F는 도 17E를 반사시켜 재배치시킨 최종 결과물로써, 배경 객체 1704에 인접한 패턴과 일치하는 패턴으로 숨겨진 표면 영역을 채우도록 잘 들어 맞는 소스 화소가 선택된다. 따라서, 본 발명의 다양한 실시예들은 사용자에게 자동 반사 선택 기능에 대한 제어능력을 제공한다.
넓은 화소 크기를 갖는 이미지를 처리할 때, 컴퓨터 처리 시간의 양은 전형적인 고려사항이다. 넓은 크기의 이미지는 더 큰 파일 크기와 더 큰 메모리 그리고 처리 시간 조건을 초래하게 되고, 따라서 2차원에서 3차원으로 전환하는 전체적인 작업은 느려질 수 있다. 예를 들어, 이미지 화소 크기를 2048X1080에서 4096X2160으로 증가시키는 것은 파일 크기를 네 배로 증가시키게 된다. 전환 작업을 위한 작업장은 가로 4000화소 근처의 어느 곳이나 표시할 수 있도록 동작하는 모니터를 구비할 필요는 없고 오히려, 예를 들어, 실제로 가로 1200화소 단위를 생성하는 모니터를 구비할 필요가 있다.
본 발명의 다양한 실시예에서, 큰 크기의 이미지는 축소되고(예를 들면 2만큼 줄어 1) 분석, 깊이 위치 값의 할당, 처리 등은 결과적으로 축소된 이미지상에서 수행될 수 있다. 이 기술을 이용하면 사용자에게 더 빠른 속도로 디멘져널리재트를 통하여 2차원에서 3차원 전환 작업을 수행할 수 있도록 한다. 일단 디멘져널 리재트 결정이 행하여지면, 시스템은 같은 컴퓨터 작업장에서 고해상도의 파일을 내부적으로 처리하거나 디멘져널리재트 작업장을 방해하지 않는 독립적으로 분리된 작업장에서 처리할 수 있다.
본 발명의 바람직한 다양한 실시예에서 고해상도의 파일은 자동적으로 소프트웨어 작업 내에서 축소되고 작업 단말 모니터에 제공된다. 운영자가 이미지를 3차원으로 처리하면서 깊이 정보를 포함하는 객체 파일이 그 이미지와 같은 크기로 비례하여 생성된다. 고해상도 파일을 마지막으로 처리하는 동안, 깊이 정보를 포함하는 객체 파일은 또한 고 해상도 파일 크기에 일치되면서 뒤따를 수 있도록 크기가 커질 수 있다. 디멘져널리재트 결정을 포함하는 정보는 또한 적절히 크기 조정이 될 수 있다.
본 발명의 다양한 원칙들은 상호적인 사용자 환경과 사용자에게 확실하고 사실적으로 보이는 3차원 이미지를 생성하기 위하여 빠르게 여러 개의 이미지나 프레임을 전환할 수 있는 이미지 처리 도구에 구현되어 있다. 도시된 예시적인 시스템 1800에서, 2차원에서 3차원으로 전환하는 작업(블록 1804로 표기됨)은 전환작업장 1805에서 작업하는 사용자에 의하여 구현되고 제어된다. 사용자가 상호적인 사용자 환경 및 이미지 처리 도구에 대한에 대한 접근을 획득하고 2차원에서 3차원 전환 작업의 결과를 제어하고 모니터 하는 장소가 여기 즉, 전환 작업장1805이다. 2차원에서 3차원으로 전환하는 작업 중에 구현된 기능들이 하나 이상의 작업기나 제어기에 의하여 수행될 수 있다는 것이 이해되어야 한다. 게다가, 해당 시스템이나 어플리케이션을 위한 특정한 조건들, 원하는 실행 레벨 등을 고려한 소프트웨어, 하드 웨어, 그리고 펌웨어 또는 펌웨어의 조합을 적용하여 이러한 기능들을 구현할 수 있다.
3차원 전환 산물과 그와 관련된 작업 파일들은 하드디스크나 메모리나 테잎 또는 어떠한 형태의 데이터 저장 장치에도 저장(저장 및 데이터 압축 1806)될 수 있다. 위에서 언급한 저장 장치에서 유지되는 공간의 관점에서 정보를 데이터 압축하는 것이 바람직한 실시예이다: 그렇지 않으면 특히 전체 길이의 동영상이 관련된 경우에는 파일 크기가 매우 커질 수 있다. 데이터 압축은 대역폭이 제한이 문제되지 않는 경우에는 데이터 압축이 그 작업에 있어서 절대적으로 필요하지는 않더라도, 그 정보가 제한된 대역폭을 가진 시스템을 통하여 (예를 들면 방송 전송 채널) 전송될 필요가 있는 때에는 데이터 압축이 또한 필요하게 된다.
3차원 전환 콘텐츠 데이터는 많은 형태로 저장될 수 있다. 그 데이터는 하드 디스크 1807에 저장될 수 있으며(하드 디스크 재생 1824를 위하여), 삭제가능 또는 삭제 불가능 메모리 1808에 저장될 수도 있고(메모리 재생기 1825에 의한 사용을 위하여) 디지털 다용도 디스크(DVD)에 한정되는 것은 아니다. 3차원 전환 생성물은 인터넷 1811을 거쳐서 데이터 방송 수신기 1810에의 해 전송되기 위해 필요한 대역폭 안으로 압축될 수 도 있으며, 이후 방송 수신기 1812에 의하여 수신될 수 도 있고 다양한 3차원 표시가능 기기 1814(예를 들면, 모니터 표시장치 1818, 가능하면 브라운관, 플라즈마 디스플레이 패널(PDP) 또는 액정 표시장치(LCD)를 포함하고, 집 또는 산업적으로는 극장 안의 전방 또는 후방 프로젝터 또는 가상 현실(VR) 종류의 헤드세트)를 통한 사용에 유용하도록 하기 위하여 압축이 해제될 수 있다(압 축 해제1813)
인터넷을 통한 방송과 유사하게, 본 발명에 의하여 생성된 생성물은 전자기적이나 무선 주파수(RF, Radio frequency) 전송기 1815에 의한 무선 주파수 전송의 방식으로 전송될 수 있다. 이는 안테나 접시1816을 적용하여 위성 전송뿐 만 아니라 전통적인 텔레비전 직접 전송을 포함한다. 본 발명의 방법에 의하여 생성된 콘텐츠는 위성을 통하여 전송될 수 있으며, 안테나 접시 1817을 통하여 수신될 수 있고, 압축 해제되어, 상기 논의에서처럼 보여지거나 아니면 사용될 수 있다. 만일 3차원 콘텐츠가 RF 전송방식에 의한 방송이라면, 수신기 1822는 압축 해제 회로에 직접 전달할 수도 있으며, 포시 장치에 직접 전달할 수 있다. 둘 모두가 가능하다. 본 발명에 의하여 생산된 콘텐츠 생산물이 압축된 데이터 형식으로 한정되는 것은 아니라는 것에 주의하여야 한다. 생산물은 압축되지 않은 형태로 이용될 수도 있다. 본 발명에 의하여 생성된 콘텐츠나 생성물에 대한 다른 사용은 케이블 텔레비전 1823이다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 3차원 동영상을 완성하기 위하여 순차적인 프레임에 걸쳐서 숨겨진 표면 영역에 인접한 이미지 영역과 일치되도록 숨겨진 표면 영역의 이미지 재구성을 추적하는 시스템을 적용하는 단계를 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 시스템은 순차적인 3차원 이미지들에 걸쳐 3차원 이미지의 일부인 이미지내의 객체의 변화 및 그 이미지내의 숨겨진 표면 영역을 재 구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체를 사용자가 추적하는 것 및 그 객체의 변화에 상응하여 소스 영역을 사용자가 조정하는 것을 허용하도록 구성된 상호적인 사용자 환경을 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 시스템은 순차적인 3차원 이미지에 걸쳐서 3차원 이미지의 부분인 이미지내의 객체의 변화를 사용자가 추적하는 것을 허용하도록 구성된 상호적인 사용자 환경, 그 이미지내의 숨겨진 표면 영역을 재구성 하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체 및 그 객체의 변화에 의존하는 숨겨진 표면 영역을 재구성하기 위하여 사용되는 소스 영역의 선택 부분을 포함한다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 시스템은 하나 이상의 프레임으로부터 하나 이상의 재구성 작업 프레임 안에 이미지 정보의 부분들을 사용자가 조합하는 것 및 순차적인 3차원 이미지의 부분인 하나 이상의 이미지의 이미지 영역을 재구성하기 위하여 작업 프레임으로부터 조합된 이미지 정보의 부분들을 사용자가 조합하는 것을 허용하도록 구성된 상호적인 사용자 환경을 포함한다.
본 발명의 바람직한 일 실시예에서, 데이터 저장 미디어는 이미지, 정보 또는 여기서 언급된 시스템이나 발명을 이용하여 생성된 데이터를 저장하는 데 적용된다.
본 발명의 바람직한 일 실시예에서 2차원 이미지로부터 전환된 인공부산물이 없는 3차원 이미지를 제공 하는 방법은 여기서 언급된 방법이나 시스템을 적용하는 단계 및 3차원 이미지를 재생산하기 위하여 그 데이터를 적용하는 단계를 포함한다.
위의 예시적인 본 발명의 바람직한 실시예에 관하여 묘사되었음에도 불구하고, 위의 묘사된 발명의 실시예에 다양한 수정 및 추가 또는 수정 또는 추가가 당 분야에서 통상의 지식을 가진 자에게는 이미 명백할 것이다.
본 발명의 범위는 그러한 모든 수정 및 추가 또는 수정 또는 추가된 것에까지 확장될 수 있도록 의도된 것이다.

Claims (55)

  1. 2차원 이미지들을 3차원 이미지들로 전환하는 방법에 있어서,
    3차원 동영상을 완성하기 위하여 순차적인 프레임들의 숨겨진 표면 영역들에 인접한 이미지 영역들과 일치되도록 숨겨진 표면 영역들의 이미지 재구성을 추적하는 단계를 포함하는 2차원 이미지들을 3차원 이미지들로 전환하는 방법.
  2. 2차원 이미지들을 3차원 이미지들로 전환하는 방법에 있어서,
    3차원 이미지를 완성하기 위하여 순차적인 프레임들의 숨겨진 표면 영역들에 인접한 이미지 영역들과 일치되도록 숨겨진 표면 영역들의 이미지 재구성을 추적하는 시스템을 이용하는 단계를 포함하는 2차원 이미지들을 3차원 이미지들로 전환하는 방법.
  3. 2차원 이미지들로부터 전환된 인공부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    순차적인 3차원 이미지들에 걸쳐서 3차원 이미지의 부분인 이미지 내의 숨겨진 표면 영역을 재구성하는데 이용하기 위한 이미지 정보의 소스 영역의 변화들을 추적하는 단계; 및
    상기 숨겨진 표면 영역에 인접한 영역에서의 상기 변화들에 대응하여 상기 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 조정하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  4. 2차원 이미지들로부터 전환된 인공부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    순차적인 3차원 이미지들에 걸쳐서 3차원 이미지의 부분인 이미지 내의 객체이자 상기 이미지 내의 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체의 변화들을 추적하는 단계; 및
    상기 객체의 변화들에 대응하여 소스 영역을 조정하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  5. 제4항에 있어서,
    상기 소스 영역은 상기 객체의 크기의 변화에 대응하여 조정되는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  6. 제4항에 있어서,
    상기 소스 영역은 상기 객체의 모양의 변화들에 대응하여 조정되는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  7. 제4항에 있어서,
    상기 소스 영역은 상기 객체의 위치의 변화들에 대응하여 조정되는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  8. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 시스템에 있어서,
    순차적인 3차원 이미지들에 걸쳐서 3차원 이미지의 부분인 이미지 내의 객체이자 상기 이미지 내의 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 상기 객체의 변화들을 사용자가 추적하도록 허용하고, 상기 객체의 변화들에 대응하여 소스 영역을 조정하는 것을 허용하도록 구성된 양방향의 사용자 인터페이스를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 시스템.
  9. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하 는 방법에 있어서,
    순차적인 3차원 이미지들에 걸쳐서 3차원 이미지들의 부분인 이미지 내의 객체이자 상기 이미지 내의 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체의 변화들을 추적하는 단계; 및
    상기 객체의 변화들에 의존하는 상기 숨겨진 표면 영역을 재구성하기 위하여 사용되는 소스 영역의 부분들을 선택하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 시스템.
  10. 제9항에 있어서,
    상기 소스 영역은 숨겨진 표면 영역보다 큰 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  11. 제9항에 있어서,
    상기 객체에 대한 상기 변화들은 크기에 관한 변화들인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  12. 제9항에 있어서,
    상기 객체에 대한 상기 변화들은 모양에 관한 변화들인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  13. 제9항에 있어서,
    상기 객체에 대한 상기 변화들은 위치에 관한 변화들인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  14. 제9항에 있어서,
    상기 소스 영역의 부분들을 선택하는데 알파 혼합 작업이 이용되는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  15. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 시스템에 있어서,
    순차적인 3차원 이미지들에 걸쳐서 3차원 이미지의 부분인 이미지 내의 객체이자 상기 이미지 내의 숨겨진 표면 영역을 재구성하기 위한 이미지의 내용을 정의하는 소스 영역을 포함하는 객체의 변화들을 사용자가 추적하도록 허용하고, 그리고 상기 객체의 변화들에 의존하는 상기 숨겨진 표면 영역을 재구성하기 위하여 사 용되는 소스 영역의 부분들을 사용자가 선택하도록 허용하는 양방향 사용자 인터페이스를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 시스템.
  16. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    3차원 이미지의 일부인 이미지 내의 숨겨진 표면 영역을 식별하는 단계; 및
    상기 숨겨진 표면 영역의 중심을 향하여 상기 숨겨진 표면 영역의 반대쪽 측면들로부터 화소를 반복시킴으로써 상기 숨겨진 표면 영역내의 상기 이미지의 내용을 재구성하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  17. 제16항에 있어서,
    상기 반대편 측면들은 숨겨진 표면 영역의 좌측 경계선과 우측 경계선인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  18. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    3차원 이미지들의 부분인 이미지 내의 숨겨진 표면 영역을 식별하는 단계;
    이미지의 내용을 위한 복수의 소스 영역들을 식별하는 단계;
    상기 이미지의 내용을 변화시키기 위하여 상기 복수의 소스 영역들 중 하나 이상을 조정하는 단계; 및
    상기 숨겨진 표면 영역을 재구성하기 위하여 상기 이미지의 내용을 이용하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  19. 제18항에 있어서,
    상기 조정하는 단계는 상기 복수의 소스 영역들 중 하나 이상을 재배치시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  20. 제18항에 있어서,
    상기 조정하는 단계는 상기 복수의 소스 영역들 중 하나 이상의 크기를 조정하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  21. 제18항에 있어서,
    상기 조정하는 단계는 상기 복수의 소스 영역들 중 하나 이상의 모양을 변경 하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  22. 제18항에 있어서,
    상기 복수의 소스 영역들은 각각 다른 프레임들로부터 획득되는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  23. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    3차원 이미지의 부분인 이미지 내의 숨겨진 표면 영역을 식별하는 단계;
    이미지의 내용을 위한 소스 영역을 식별하는 단계;
    상기 이미지의 내용을 변화시키기 위하여 상기 소스 영역의 경계선을 조정하는 단계; 및
    상기 숨겨진 표면 영역을 재구성하기 위하여 상기 이미지의 내용을 이용하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  24. 제23항에 있어서,
    상기 소스 영역을 식별하는 단계는 상기 소스 영역의 시작점과 종료점을 지 정하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  25. 제24항에 있어서,
    상기 시작점과 종료점은 상기 숨겨진 표면 영역 부분의 경계선과 교차하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  26. 제23항에 있어서,
    상기 이미지의 내용을 위한 소스 영역을 식별하는 단계는 상기 소스 영역의 디폴트(default) 위치를 자동으로 선택하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  27. 제26항에 있어서,
    상기 디폴트 위치는 숨겨진 표면 영역과 인접한 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  28. 제23항에 있어서,
    상기 조정하는 단계는 상기 소스 영역의 크기를 점진적으로 증가시키거나 감소시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  29. 제23항에 있어서,
    상기 조정하는 단계는 상기 소스 영역의 크기를 다양하게 증가시키거나 감소시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  30. 제23항에 있어서,
    상기 이미지의 내용을 이용하는 단계는 상기 숨겨진 표면 영역을 채우기 위하여 상기 이미지의 내용을 확대하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  31. 제23항에 있어서,
    상기 이미지의 내용을 이용하는 단계는 상기 숨겨진 표면 영역을 채우기 위하여 상기 이미지의 내용을 비율에 따라 줄이고 늘리는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  32. 제23항에 있어서,
    상기 이미지의 내용을 이용하는 단계는 상기 숨겨진 표면 영역에 상기 이미지의 내용을 일치시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  33. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    3차원 이미지의 일부인 이미지 내의 숨겨진 표면 영역에 대하여, 상기 숨겨진 표면 영역의 경계선 부분을 비율적으로 확장함으로써 재구성 영역과 인접한 소스 영역을 지정하는 단계; 및
    상기 숨겨진 표면 영역을 재구성하기 위하여 상기 소스 영역과 관련된 이미지 의 내용을 이용하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  34. 제33항에 있어서,
    상기 이미지의 내용을 변화시키기 위하여 상기 소스 영역의 경계선을 조정하는 단계를 더 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  35. 제34항에 있어서,
    상기 경계선을 조정하는 단계는 상기 소스 영역을 재배치시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  36. 제34항에 있어서,
    상기 경계선을 조정하는 단계는 상기 소스 영역의 크기를 다시 조정하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  37. 제34항에 있어서,
    상기 경계선을 조정하는 단계는 상기 소스 영역의 모양을 변형시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  38. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    하나 이상의 프레임들로부터의 이미지 정보의 부분들을 하나 이상의 재구성 작업 프레임들 안에 조합하는 단계; 및
    순차적인 3차원 이미지에 걸쳐서 3차원 이미지들의 부분인 하나 이상의 이미지들 내의 이미지 영역을 재구성하기 위하여 상기 작업 프레임들로부터 이미지 정보의 조합된 부분들을 이용하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  39. 제38항에 있어서,
    상기 이미지 정보는 재구성 중인 이미지가 아닌 이미지의 내용 소스로부터 획득한 이미지 정보인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  40. 제38항에 있어서,
    상기 이미지 정보는 복수의 이미지의 내용 소스들로부터 획득한 이미지 정보인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  41. 제38항에 있어서,
    상기 이미지 정보는 단일 이미지로부터 획득한 이미지 정보인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  42. 제38항에 있어서,
    상기 이미지 정보는 복수의 이미지들로부터 획득한 이미지 정보인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  43. 제38항에 있어서,
    상기 이미지 정보는 순차적인 이미지들로부터 획득한 이미지 정보인 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  44. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 시스템에 있어서,
    사용자가 하나 이상의 프레임들로부터 이미지 정보의 부분들을 하나 이상의 재구성 작업 프레임들 안에 조합하고, 순차적인 3차원 이미지들의 부분인 하나 이상의 이미지 내의 이미지 영역을 재구성하기 위하여 상기 작업 프레임들로부터 이미지 정보의 상기 결합된 부분들을 이용할 수 있게 하는 양방향 사용자 인터페이스를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  45. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    순차적인 3차원 이미지들로부터 복수의 이미지들을 식별하는 단계;
    상기 이미지들 중 적어도 두 개의 이미지 내에서 공통되는 이미지 객체의 경계선의 변화들을 결정하기 위하여 상기 복수의 이미지들을 처리하는 단계; 및
    시간과 움직임을 나타내는 순차적인 프레임들을 따라 상기 이미지 객체의 경계선들이 변하면서 상기 이미지 객체의 변화에 상응하는 최대 숨겨진 표면 영역을 결정하기 위하여 상기 경계선 안의 변화들을 분석하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  46. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    3차원 이미지의 일부인 이미지 내의 숨겨진 표면 영역을 식별하는 단계;
    상기 숨겨진 표면 영역에 인접한 상기 이미지의 소스 영역을 식별하는 단계; 및
    상기 소스 영역으로부터 반사된 형태의 이미지의 내용으로 숨겨진 표면 영역을 재구성하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  47. 제46항에 있어서,
    상기 숨겨진 표면 영역을 재구성하는 단계는 상기 숨겨진 표면 영역과 상기 소스 영역 사이의 경계선을 따라 상기 소스 영역의 이미지의 내용을 뒤집는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  48. 제46항에 있어서,
    상기 숨겨진 표면 영역을 재구성 하는 단계는 상기 숨겨진 표면 영역에 대하여 상기 반사된 형태의 이미지의 내용을 재 배치시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  49. 제46항에 있어서,
    상기 숨겨진 표면 영역을 재구성 하는 단계는 상기 반사된 형태의 이미지의 내용을 상기 숨겨진 표면 영역에 일치시키는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  50. 제49항에 있어서,
    상기 일치시키는 단계는 알파 혼합 또는 결합 작업을 이용하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  51. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    숨겨진 표면 영역들과 일치하는 이미지 정보로 순차적인 동영상 프레임들 내의 상기 숨겨진 표면 영역들을 재구성하기 위하여 상기 순차적인 동영상 프레임들 내의 상기 숨겨진 표면 영역들을 추적하는 단계; 및
    사용자가 인식하는 깊이에 따라서 3차원 이미지로써 상기 프레임들을 제공하기 위하여 데이터를 수신하고 데이터에 접근하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공하는 방법.
  52. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    숨겨진 표면 영역들과 일치하는 이미지 정보로 순차적인 동영상 프레임들 내의 상기 숨겨진 표면 영역들을 재구성하기 위하여 상기 순차적인 동영상 프레임들 내의 상기 숨겨진 표면 영역들을 추적하는 단계; 및
    사용자가 인식하는 깊이에 따라서 3차원 이미지로써 상기 프레임들을 재생산 하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공 하는 방법.
  53. 2차원 이미지들로부터 전환된 인공 부산물이 없는 3차원 이미지들을 제공하는 방법에 있어서,
    하나 이상의 프레임들의 이미지 정보의 부분들을 하나 이상의 재구성 작업 프레임들 안에 조합하는 단계;
    이미지 영역을 재구성하기 위하여 순차적인 3차원 이미지들의 부분인 하나 이상의 이미지들에 상기 작업 프레임들로부터의 상기 조합된 이미지 정보의 부분들을 이용하는 단계;
    상기 이미지 데이터를 수신하고 상기 이미지 데이터에 접근하는 단계; 및
    사용자가 인식하는 깊이에 따라서 3차원 이미지로써 상기 이미지들을 재생산하는 단계를 포함하는 인공 부산물이 없는 3차원 이미지들을 제공 하는 방법.
  54. 상기 제1 내지 제53항 중 어느 한 항의 방법 또는 시스템이 적용되어 생성된 이미지, 정보 또는 데이터가 저장되는 데이터 저장 매체.
  55. 3차원 이미지들을 제공하는 방법에 있어서,
    상기 1 내지 53항 중 어느 한 항의 방법 또는 시스템이 적용되어 생성된 데이터를 수신하거나 접근하는 단계; 및
    3차원 이미지를 생성하기 위하여 상기 데이터를 이용하는 단계를 포함하는 3차원 이미지들을 제공하는 방법.
KR1020077002183A 2004-06-30 2005-06-29 2차원 이미지들로부터 인공 부산물이 없는 3차원이미지들을 생성하는 방법 KR20070042989A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/882,524 2004-06-30
US10/882,524 US20050231505A1 (en) 1998-05-27 2004-06-30 Method for creating artifact free three-dimensional images converted from two-dimensional images

Publications (1)

Publication Number Publication Date
KR20070042989A true KR20070042989A (ko) 2007-04-24

Family

ID=35783356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077002183A KR20070042989A (ko) 2004-06-30 2005-06-29 2차원 이미지들로부터 인공 부산물이 없는 3차원이미지들을 생성하는 방법

Country Status (6)

Country Link
US (1) US20050231505A1 (ko)
EP (1) EP1774455A2 (ko)
KR (1) KR20070042989A (ko)
AU (1) AU2005260637A1 (ko)
CA (1) CA2572085A1 (ko)
WO (1) WO2006004932A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7573489B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US7573475B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US8823771B2 (en) 2008-10-10 2014-09-02 Samsung Electronics Co., Ltd. Image processing apparatus and method

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US7281229B1 (en) * 2004-09-14 2007-10-09 Altera Corporation Method to create an alternate integrated circuit layout view from a two dimensional database
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
DE102005009437A1 (de) * 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
NZ561570A (en) 2005-03-16 2010-02-26 Lucasfilm Entertainment Compan Three-dimensional motion capture
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US8147315B2 (en) 2006-09-12 2012-04-03 Aristocrat Technologies Australia Ltd Gaming apparatus with persistent game attributes
US20080159592A1 (en) * 2006-12-28 2008-07-03 Lang Lin Video processing method and system
US8130225B2 (en) 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US20080225040A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. System and method of treating semi-transparent features in the conversion of two-dimensional images to three-dimensional images
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US9245382B2 (en) * 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
TWI462585B (zh) * 2008-10-27 2014-11-21 Wistron Corp 具有立體顯示功能的子母畫面顯示裝置及子母畫面顯示方法
US9142024B2 (en) 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
US8638329B2 (en) * 2009-12-09 2014-01-28 Deluxe 3D Llc Auto-stereoscopic interpolation
US8538135B2 (en) 2009-12-09 2013-09-17 Deluxe 3D Llc Pulling keys from color segmented images
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120197428A1 (en) * 2011-01-28 2012-08-02 Scott Weaver Method For Making a Piñata
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
KR20120126458A (ko) * 2011-05-11 2012-11-21 엘지전자 주식회사 방송 신호 처리 방법 및 그를 이용한 영상 표시 장치
US8948447B2 (en) 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
WO2013074926A1 (en) 2011-11-18 2013-05-23 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US10694249B2 (en) * 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10212410B2 (en) * 2016-12-21 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion
US10789723B1 (en) * 2018-04-18 2020-09-29 Facebook, Inc. Image object extraction and in-painting hidden surfaces for modified viewpoint rendering

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3621127A (en) * 1969-02-13 1971-11-16 Karl Hope Synchronized stereoscopic system
US3772465A (en) * 1971-06-09 1973-11-13 Ass Of Motion Picture Televisi Image modification of motion pictures
US3737567A (en) * 1971-10-25 1973-06-05 S Kratomi Stereoscopic apparatus having liquid crystal filter viewer
US4021846A (en) * 1972-09-25 1977-05-03 The United States Of America As Represented By The Secretary Of The Navy Liquid crystal stereoscopic viewer
US3851955A (en) * 1973-02-05 1974-12-03 Marks Polarized Corp Apparatus for converting motion picture projectors for stereo display
US4183633A (en) * 1973-02-05 1980-01-15 Marks Polarized Corporation Motion picture film for three dimensional projection
US4017166A (en) * 1973-02-05 1977-04-12 Marks Polarized Corporation Motion picture film for three dimensional projection
US4168885A (en) * 1974-11-18 1979-09-25 Marks Polarized Corporation Compatible 3-dimensional motion picture projection system
US4235503A (en) * 1978-05-08 1980-11-25 Condon Chris J Film projection lens system for 3-D movies
US4436369A (en) * 1981-09-08 1984-03-13 Optimax Iii, Inc. Stereoscopic lens system
US4645459A (en) * 1982-07-30 1987-02-24 Honeywell Inc. Computer generated synthesized imagery
US4600919A (en) * 1982-08-03 1986-07-15 New York Institute Of Technology Three dimensional animation
JPS59116736A (ja) * 1982-12-24 1984-07-05 Fuotoron:Kk 立体映写装置
US4475104A (en) * 1983-01-17 1984-10-02 Lexidata Corporation Three-dimensional display system
US4603952A (en) * 1983-04-18 1986-08-05 Sybenga John R Professional stereoscopic projection
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US4606625A (en) * 1983-05-09 1986-08-19 Geshwind David M Method for colorizing black and white footage
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US4608596A (en) * 1983-09-09 1986-08-26 New York Institute Of Technology System for colorizing video with both pseudo-colors and selected colors
US4558359A (en) * 1983-11-01 1985-12-10 The United States Of America As Represented By The Secretary Of The Air Force Anaglyphic stereoscopic image apparatus and method
US4647965A (en) * 1983-11-02 1987-03-03 Imsand Donald J Picture processing system for three dimensional movies and video systems
US4723159A (en) * 1983-11-02 1988-02-02 Imsand Donald J Three dimensional television and video systems
US4697178A (en) * 1984-06-29 1987-09-29 Megatek Corporation Computer graphics system for real-time calculation and display of the perspective view of three-dimensional scenes
JPH0681275B2 (ja) * 1985-04-03 1994-10-12 ソニー株式会社 画像変換装置
US4888713B1 (en) * 1986-09-05 1993-10-12 Cdi Technologies, Inc. Surface detail mapping system
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4933670A (en) * 1988-07-21 1990-06-12 Picker International, Inc. Multi-axis trackball
US5177474A (en) * 1989-09-13 1993-01-05 Matsushita Electric Industrial Co., Ltd. Three-dimensional display apparatus
US5237647A (en) * 1989-09-15 1993-08-17 Massachusetts Institute Of Technology Computer aided drawing in three dimensions
JP2621568B2 (ja) * 1990-01-11 1997-06-18 ダイキン工業株式会社 図形描画方法およびその装置
US5428721A (en) * 1990-02-07 1995-06-27 Kabushiki Kaisha Toshiba Data processing apparatus for editing image by using image conversion
US5002387A (en) * 1990-03-23 1991-03-26 Imax Systems Corporation Projection synchronization system
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US5481321A (en) * 1991-01-29 1996-01-02 Stereographics Corp. Stereoscopic motion picture projection system
US5185852A (en) * 1991-05-31 1993-02-09 Digital Equipment Corporation Antialiasing apparatus and method for computer printers
US5347620A (en) * 1991-09-05 1994-09-13 Zimmer Mark A System and method for digital rendering of images and printed articulation
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US5402191A (en) * 1992-12-09 1995-03-28 Imax Corporation Method and apparatus for presenting stereoscopic images
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5739844A (en) * 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
JP3486461B2 (ja) * 1994-06-24 2004-01-13 キヤノン株式会社 画像処理装置及び方法
TW278162B (ko) * 1994-10-07 1996-06-11 Yamaha Corp
JP3483333B2 (ja) * 1995-02-23 2004-01-06 キヤノン株式会社 図形処理方法及び装置
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US5742291A (en) * 1995-05-09 1998-04-21 Synthonics Incorporated Method and apparatus for creation of three-dimensional wire frames
JPH08331473A (ja) * 1995-05-29 1996-12-13 Hitachi Ltd テレビジョン信号の表示装置
DE69621778T2 (de) * 1995-12-19 2003-03-13 Koninkl Philips Electronics Nv Tiefenabhängige parallaktische pixelverschiebung
US6088006A (en) * 1995-12-20 2000-07-11 Olympus Optical Co., Ltd. Stereoscopic image generating system for substantially matching visual range with vergence distance
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US5973831A (en) * 1996-01-22 1999-10-26 Kleinberger; Paul Systems for three-dimensional viewing using light polarizing layers
EP0817123B1 (en) * 1996-06-27 2001-09-12 Kabushiki Kaisha Toshiba Stereoscopic display system and method
US6061067A (en) * 1996-08-02 2000-05-09 Autodesk, Inc. Applying modifiers to objects based on the types of the objects
JP2000507071A (ja) * 1996-12-19 2000-06-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オートステレオグラムを表示する方法及び装置
US6313840B1 (en) * 1997-04-18 2001-11-06 Adobe Systems Incorporated Smooth shading of objects on display devices
US6492986B1 (en) * 1997-06-02 2002-12-10 The Trustees Of The University Of Pennsylvania Method for human face shape and motion estimation based on integrating optical flow and deformable models
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
AUPP048097A0 (en) * 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677944B1 (en) * 1998-04-14 2004-01-13 Shima Seiki Manufacturing Limited Three-dimensional image generating apparatus that creates a three-dimensional model from a two-dimensional image by image processing
US6515659B1 (en) * 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
US6208348B1 (en) * 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
JP2000215317A (ja) * 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
GB2344037B (en) * 1998-11-20 2003-01-22 Ibm A method and apparatus for adjusting the display scale of an image
AUPP727598A0 (en) * 1998-11-23 1998-12-17 Dynamic Digital Depth Research Pty Ltd Improved teleconferencing system
GB2354389A (en) * 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
WO2001097531A2 (en) * 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
US6900802B2 (en) * 2000-08-04 2005-05-31 Pts Corporation Method of determining relative Z-ordering in an image and method of using same
US7035451B2 (en) * 2000-08-09 2006-04-25 Dynamic Digital Depth Research Pty Ltd. Image conversion and encoding techniques
US6791542B2 (en) * 2002-06-17 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Modeling 3D objects with opacity hulls
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
US7260273B2 (en) * 2003-08-08 2007-08-21 Seiko Epson Corporation System and method of editing a digital image to remove unwanted artifacts, objects and the like

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7573489B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US7573475B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US8823771B2 (en) 2008-10-10 2014-09-02 Samsung Electronics Co., Ltd. Image processing apparatus and method

Also Published As

Publication number Publication date
AU2005260637A1 (en) 2006-01-12
WO2006004932A3 (en) 2006-10-12
US20050231505A1 (en) 2005-10-20
EP1774455A2 (en) 2007-04-18
CA2572085A1 (en) 2006-01-12
WO2006004932A2 (en) 2006-01-12

Similar Documents

Publication Publication Date Title
KR20070042989A (ko) 2차원 이미지들로부터 인공 부산물이 없는 3차원이미지들을 생성하는 방법
US6686926B1 (en) Image processing system and method for converting two-dimensional images into three-dimensional images
JP6873096B2 (ja) イメージ形成における及びイメージ形成に関する改良
US8922628B2 (en) System and process for transforming two-dimensional images into three-dimensional images
US20070236493A1 (en) Image Display Apparatus and Program
US7116324B2 (en) Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
JP7086522B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN103797787B (zh) 图像处理方法和图像处理设备
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
US6031564A (en) Method and apparatus for monoscopic to stereoscopic image conversion
US7116323B2 (en) Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
US20080246757A1 (en) 3D Image Generation and Display System
US9041773B2 (en) Conversion of 2-dimensional image data into 3-dimensional image data
JP2005353047A (ja) 立体画像処理方法および立体画像処理装置
US20180249145A1 (en) Reducing View Transitions Artifacts In Automultiscopic Displays
US6535232B1 (en) Device for controlling quality of reproduction of motion picture and method for controlling the same
JPS61221974A (ja) 画像処理方法および装置
US20150179218A1 (en) Novel transcoder and 3d video editor
US20040212612A1 (en) Method and apparatus for converting two-dimensional images into three-dimensional images
US11212502B2 (en) Method of modifying an image on a computational device
KR20080034419A (ko) 3ｄ 영상 생성 및 디스플레이 시스템
GB2312119A (en) Digital video effects apparatus
CA2469050A1 (en) A method of rendering a graphics image
WO2006078249A1 (en) Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
WO2015120032A1 (en) Reducing view transition artifacts in automultiscopic displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application