KR20010074504A - 3차원영상처리방법 및 장치 - Google Patents

3차원영상처리방법 및 장치 Download PDF

Info

Publication number
KR20010074504A
KR20010074504A KR1020007013639A KR20007013639A KR20010074504A KR 20010074504 A KR20010074504 A KR 20010074504A KR 1020007013639 A KR1020007013639 A KR 1020007013639A KR 20007013639 A KR20007013639 A KR 20007013639A KR 20010074504 A KR20010074504 A KR 20010074504A
Authority
KR
South Korea
Prior art keywords
dimensional
person
images
representation
game
Prior art date
Application number
KR1020007013639A
Other languages
English (en)
Inventor
플록하트크리스토퍼피터
휴즈던칸
Original Assignee
추후제출
트리코더 테크놀러지 피엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 추후제출, 트리코더 테크놀러지 피엘씨 filed Critical 추후제출
Publication of KR20010074504A publication Critical patent/KR20010074504A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/69Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695Imported photos, e.g. of the player
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

컴퓨터게임인물을 개인화하는 방법에서, 게임의 인물(1)의 적어도 하나의 2차원영상(I, 예를 들어, 인터넷에 연결된 개인용 컴퓨터의 사용자)이, 사용자의 얼굴 또는 머리와 부합하도록 일반영상(G)을 뒤틀려서 플레이어의 컴퓨터로부터 떨어진 서버(S)에서 디지털처리되고, 애니메이션 가능한 인물파일로 변환되고, 플레이어의 컴퓨터에 다운로드된다. 바람직하게는, 두 개의 중첩영상들이 디지털카메라에 의해 획득되고, 일반3차원표현(G)이 비교되는 불완전한 3차원표현을 제공하기 위해 입체처리하는 서버에 업로드되고, 전자는 후자와 부합하도록 뒤틀린다.

Description

3차원영상처리방법 및 장치{3D image processing method and apparatus}
사진측정기법들이 다른 관점들로부터 획득된 두 개 이상의 중첩(overlapping) 2차원영상들을 통상의 3차원 표현(representation)으로 변환하기 위해 알려져 있고, 대체로 그런 기법들은, 알려진 디지털기법들을 사용하여 애니메이션될 수 있는 3차원표현을 생성하도록 인간의 얼굴에 적용될 수 있다.
대응 영상들(예를 들면, 항공탐사동안 찍은 사진들)의 영상영역들을 상관시키기 위한 적절한 알고리즘들이 예를 들면 그루엔(Gruen)의 알고리즘 (Gruen, A. W, "Adaptive least squares correlation: a powerful image matching technique"S Afr J of Photogrammetry, remote sensing and CartographyVol 14 No 3 (1985) and Gruen, A W and Baltsavias, E P "High precision image matching for digital terrain model generation)"Int Arch PhotogrammetryVol 25 No 3 (1986) p254 참조)에, 그리고 특히 Otto 및 Chau의 "지형영상들을 메칭하기 위한 영역성장알고리즘(Regional-growing algorithm for matching terrain images)"에 설명된 "영역성장"변형("region-growing" modification) 참조)으로 이미 알려져 있다.
본래, 그루엔 알고리즘은 적응적 최소제곱상관관계알고리즘으로서, 이 알고리즘에서는, 전형적으로 15×15 내지 30×30으로 한 두 영상패치들이 영상들의 좌표들간의 밀접하게 관련된 기하학적 뒤틀림(즉, 원래 평행선들이 변환시 평행한 채로 있는 신장 또는 압축)을 허용하고 영상패치들내의 화소들의 그레이레벨들간의 부가적인 방사분석(radiometric) 뒤틀림을 허용하며, 상관된 화소들간의 불일치들을 나타내는 과잉구속된(over-constrained)의 선형방정식들의 집합을 생성하고, 불일치들을 최소화하는 최소제곱해를 구함으로써 상관된다(즉, 패치들 간의 최상대로 일치하는 부합(match)을 제공하는 방식으로 더 큰 좌우영상들로부터 선택된다.
그루엔 알고리즘은 본질적으로 반복알고리즘이고, 올바른 해로 수렴되기 전에 상관관계에 대한 합리적인 근사값이 공급되는 것을 필요로 한다. 오토(Otto) 및 차우(Chau) 영역성장알고리즘은, 한 영상의 한 점 및 다른 영상의 한 점 간의 근사한 부합으로 시작하며, 그루엔 알고리즘을 활용하여 더 정확한 부합을 생성하고 기하학적 방사분석의 뒤틀림매개변수들을 생성하고, 뒤틀림매개변수들을 사용하여 초기부합점의 이웃 영역의 점들에 대한 근접한 부합들을 예측한다. 이웃하는 점들은, 각 화소마다 그루엔 알고리즘을 실행하는 것을 피하기 위해 예를 들어 5 또는 10 화소들의 격자간격을 갖는 격자상의 네 개의 인접한 점들을 선택함으로써 선택된다.
Hu et al"Matching Point Features with ordered Geometric, Rigidity and Disparity Constraints" IEEE Transactions on Pattern Analysis and MachineIntelligence Vol 16 No 10, 1994 pp1041-1049 (여기에 인용된 문헌들)가 중첩영상들의 특징들을 상관시키기 위한 방법들을 더 개시한다.
공동 계류중인 특허출원들은 다음과 같이 그루엔 알고리즘의 다수의 개선점들을 개시한다:
ⅰ) 알고리즘에 채택된 부가적인 방사분석시프트가 필요없게 될 수 있다;
ⅱ) 연속적인 반복 동안, 후보부합점(candidate matched point)이 반복마다 일정한 량(예를 들어 3화소들) 보다 많이 이동된다면, 이 후보부합점은 유효부합점이 아니고 거절되어야 한다;
ⅲ) 부합된 영역의 성장동안, 안정된 수렴을 위한 충분한 데이터가 존재한다는 것을 확실하게 하기 위해 영역의 네 측면들 중 적어도 세 측면들에서 충분한 대비에 관해 점검하는 것이 유용하고, 이것을 용이하게 하기 위해, 매개변수들(예를 들어, 요구된 대비)이 다른 환경들에 최적화될 수 있게 배열가능하도록 알고리즘을 만드는 것이 바람직하다.
ⅳ) 한 영상의 각각의 패치들 및 다른 영상의 점들 간의 일치의 유효성을 정량화하기 위해, 알고리즘을 다른 영상의 부합점에 인가하고(즉, 스테레오매칭공정을 전환하고), 원래 격자점 및 역스테레오매칭으로부터 시작영상에서 발견된 새로운 격자점간의 거리를 측정함으로써, 시작영상의 원래 격자점을 다시 도출하는 것이 유용하다는 것을 알아내었다. 거리가 짧을수록 더 잘 일치한다.
그러나, 알려진 사진측정기법들은 여전히 고품질의 중첩영상들간의 상관관계들을 필요로 하고, 피사체에 턱스쳐정보가 거의 없는 (인간얼굴의 큰 영역들도 마찬가짐임) 경우들에서는, 모든 영역들을 상관시키는 것이 어렵거나 불가능하여, 3차원재구성에 있어서 홀들을 초래한다. 그런 어려움들은 광(특히 적외선)패턴(특히, 얼룩패턴)을 피사체에 투영함으로써 극복될 수 있지만, 패턴투영의 필요조건이 이미 정교한 장치의 비용을 상승시킨다.
본 발명은 얼굴영상들을 처리하기 위한 방법 및 장치에 관한 것으로, 디지털애니메이션, 예를 들어, 컴퓨터게임들에서의 사용에 특별하나 전용은 아닌 얼굴영상들을 처리하기 위한 방법 및 장치에 관한 것이다.
도 1은 발명의 한 양태에 따른 영상처리방법의 개략적인 흐름도;
도 2a는 도 1의 방법에서 사용되는 영상들을 획득하기 위한 하나의 카메라배열을 보여주는 개략적인 평면도;
도 2b는 도 1의 방법에서 사용되는 영상들을 획득하기 위한 다른 카메라배열을 보여주는 개략적인 평면도;
도 2c는 도 1의 방법에서 사용되는 영상들을 획득하기 위한 또 다른 카메라배열을 보여주는 개략적인 평면도; 및
도 3은 발명의 제2양태에 따른 방법에 의해 애니메이션된 게임인물을 제공하기 위한 인터넷기반 구성의 개략도.
본 발명의 목적은 그런 결점들을 극복하거나 완화시키는 것이다
한 양태에서는, 본 발명의 대상체의 두 개 이상의 이차원영상들이 불완전한 3차원표현을 생성하도록 사진측정처리되고, 불완전한 3차원표현은 3차원표현을 제공하도록 그런 대상체들의 일반표현과 결합되는 대상체의 3차원표현을 제공하는 방법을 제공하는 것이다.
한 실시예에서는 대상체는 사람 또는 동물의 몸 또는 그 일부분이다.
바람직한 실시예에서는, 일반표현과의 결합으로부터 얻어낸 3차원표현이 애니메이션 가능한 인물의 포맷으로 제공된다.
바람직한 실시예에서는, 결과적인 3차원표현이 컴퓨터게임인물의 파일포맷으로 변환되고 컴퓨터게임에 로드된다.
다른 양태에서, 본 발명은, 게임플레이어의 적어도 하나의 영상이 플레이어의 컴퓨터로부터 떨어진 위치에서 디지털처리되며, 애니메이션 가능한 인물파일로 변환되고 플레이어의 컴퓨터에 로드되는 컴퓨터게임인물 개인화방법을 제공한다. 예를 들면, 영상은 인터넷서버컴퓨터에서 처리되고 인터넷에서 다운로드될 수 있다.
더 바람직한 특징들은 종속항들에서 한정된다.
바람직한 실시예에서는, 완전히 자동화된 시스템이 제공되어, 퀘이크(Quake), 둠(Doom), 디센트(Descent) 및 다른 인기 있는 게임들의 사용자들에게, 자신의 얼굴(바람직하게는, 3차원 얼굴)이 이 게임의 인물에 삽입되는 맞춤형게임인물이 제공될 수 있다. 이것은 게임사용자들이 자신들의 시각화를 게임에서 사용할 수 있게 한다. 이 서비스는 서버의 조작자에 의한 인간의 개입이 거의 없거나 전혀 없는 인터넷을 통해 제공될 수 있다.
게임대중에 의한 이 레벨의 접근성(accessibility)을 갖는 것과 유사한 것은 현재 존재하지 않는다.
영상처리동안 일반(generic)머리를 사용함으로써, 비교적 저품질의 3차원표면이 받아들일 만한 결과를 얻기 위해 필요하게 되고, 홀들이 3차원데이터집합들에 있는 문제점들이 제거될 수 있다.
게임이 다양한 개인용컴퓨터들의 게임환경에서 실시간으로 인물의 조작을 지원해야 하므로, 저해상도모델이 게임할 때에 필요하게 된다.
필요하다면, 사용자가 플로피디스크와 같은 데이터매체 또는 이메일 중의 어느 하나로 그들의 영상들을 제출하고 모델을 받는 사이의 몇 시간의 소요시간을 참아낸다고 가정된다.
한 실시예에서, 게임사용자는 특정한 지침들에 따라 디지털카메라 또는 스캔된 사진들을 사용하여 그 자신/그녀 자신의 한 세트의 영상들을 얻을 필요가 있다.
그런 다음, 그/그녀는 서버에 의해 호스트된 웹페이지에 접근하고, 이 서버는 사용자가 다음 정보를 기재할 것을 요구하는 양식을 제공할 것이다.
* 이름
* 이메일 주소
* 그/그녀가 모델이 되길 원하는 게임
* 제출해야 하는 영상들
* 그/그녀가 얼굴이 삽입되길 원하는 몸 선택
* 신용카드 세부사항
그런 다음, 서버는 다음 작업들을 수행하기 위해 영상처리작업목록을 작성할 것이다:
* 3차원얼굴 기하학적 모양(geometry)을 공급된 영상화일들로부터 결정
* 일반머리를 이 기하학적 모양으로 변경
* 공급된 영상들로부터 텍스쳐맵을 적용
* 머리모델을 다각형 축소
* 머리모델을 몸체와 일체화
* 완전한 모델을 특정한 게임의 요구포맷으로 변환
적당한 처리 후, 완성된 인물이 첨부물로서 특정한 이메일주소로 보내지고, 마이크로 트랜젝션(transaction)이 수행되어 사용자의 크레디트카드에 청구서를 보낸다.
발명의 바람직한 실시예는 첨부한 도면들 중 도 1 내지 도 3을 참조하는 예만으로 이하 설명된다.
도 1을 참조하면, 좌우영상들(I1 및 I2)이 예를 들어 디지털카메라에 의해 획득되고 게임플레이어 머리의 불완전한 3차원표현(100)을 제공하도록 표준사진측정기법들에 의해 처리된다.
게임플레이어 얼굴의 기하학적 모양의 결정은, 인간얼굴의 통계적인 모델을 통한 얼굴특징인식, 그루엔스형의 면적매칭 및 얼굴특징상관관계를 수반할 수 있다. 그루엔스형의 면적매칭은 투영된 텍스쳐를 갖지 않는 문제점을 안고, 그래서 피사체의 얼굴에 있는 텍스쳐, 주변의 조명상태들, 및 영상들간의 색조들 및 세기들에서의 차이에 영향을 받기 매우 쉽다. 또, 포획된 영상들의 카메라모델 또는 광기하학적 모양의 부족에도 영향을 받기 쉽다. 얼굴특징상관관계는, 부정확하게검출되는 어떤 얼굴특징이 매우 형편없는 모델이 생성되는 것을 초래할 것이라는 문제점을 안고 있다. 통계적인 모델을 통한 얼굴특징인식은 심한 부정확성이 발생하는 것을 방지하고, 더 확고한 해법으로 이끌 것이다. 영상제출프로세서의 일부는 사용자가 영상들에 관한 어떤 핵심들을 상술하는 것을 수반할 수 있다.
전술한 문제점들을 완화하기 위해, 일반머리(200)의 3차원표현이 제공된다. 이전 단계로부터 얻어진 기하학적 정보가 주어지면, 일반머리모델은 피사체의 개략적으로 산출된 기하학적 모양에 맞도록 뒤틀림될 수 있다. 이 머리는 두 양식들인, 비균일유리B스플라인(Non-uniform Rational B Spline, NURBS)모델 또는 다각형모델 중 하나가 될 수 있다. NURBS모델은 피사체의 기하학적 모양으로 쉽게 변형될 수 있는 이점을 갖지만, 처리오버헤드가 더 크다는 결점을 안고, 후속하는 처리단계들을 위해 다각형들로 변환해야 한다.
이 처리(변형된 일반머리(300))단계에서는, 각 영상내의 어떤 점들, 및 3차원모델에 있는 점들간의 상관관계가 이미 존재할 것이고, 텍스쳐매핑 작업을 더 단순화시킨다. 다수의 영상들의 사용으로부터 발생하는 텍스쳐병합의 문제가 남아 있다.
텍스쳐맵이 3차원머리(100)로부터 얻어지고(400) 단계 300으로부터 생긴 표현에 부착되고(단계 500, 즉, 변형된 일반머리가 되게 사용되고), 그런 다음 결과적인 사실적인 인물표현이 게임인물의 몸체에 일체화되거나 부착된다(단계 600).
필요하다면, 결과적인 모델은 다각형 형태로 변환된다(단계 700).
변형된 일반머리가 다각형 형태로 표현된다면, 다각형들의 수가 감소되어야한다(단계 800). 다각형을 감소를 위해 많은 알고리즘들 및 상업적으로 입수가능한 코드가 있다. 완성된 모델은, 비교적 작은 모델을 생성하여 전송하고 게임내에 사용하기 위해, 상당히 적은 다각형 카운트, 가능하게는 100 정도로 감소될 수도 있다.
최종적으로, 다각형 감소된 표현은 게임에 의해 다루어질 수 있는 게임파일포맷으로 변환된다(단계 900).
이 최종단계는 게임제조업자들과의 접촉 및 공동작업을 필요로 하거나, 이 작업이 완전히 독립적으로 수행될 수 있다고 생각될 수 있다.
2차원영상들(I1 및 I2)의 획득이 도 2a, 2b 및 2c를 참조하여 설명될 것이다. 이 도면들의 각각은, 제공된 전용 부스(게임아케이드)내의 고정된 입체경카메라 배열들로서 제공될 수 있거나 게임플레이어에 의해 설정될 수 있는 다른 카메라 배열들을 보여준다. 각 경우, 카메라(C)는 한 관점으로부터 영상을 획득하고, 동일하거나 다른 카메라(C)는 다른 관점으로부터 중첩영상을 획득한다. 시계들(V)은 피사체(1)의 얼굴 영역에서 중첩되어야 한다.
도 2a에서 카메라들은 직각이 되게 비스듬이 배치되고, 도 2b에서 카메라들은 평행하고, 도 2c에서 카메라들은 직교하여, 한 카메라는 피사체(1)의 정면도를 갖고 다른 카메라는 피사체(1)의 측면(profile)도를 갖는다. 정면도 및 측면도가 독립적으로 획득되기 때문에, 도 2c의 배열이 특히 바람직하다. 정면영상 및 측면영상은 분석되어 특징들의 크기 및 위치를 결정할 수 있고, 결과적인 데이터는 한 범위의 일반머리들 중 하나를 선택하거나 단계(300) 이전에 보여진 일반머리의 가변매개변수들을 조절하는 데 사용될 수 있다.
알려진 알고리즘(예를 들어, 그루엔 알고리즘)에 의해 디지털화된 영상들의 적은 수의 점들을 상관시킴으로써, 정확한 카메라위치들 및 배향들이 결정될 수 있고, 피사체(1)의 3차원표현이 생성될 수 있게 상대적으로 쉽게 상관되는 나머지 점들은 카메라들과 동일한 위치, 배향 및 광학매개변수들을 갖는 가상투영기들에 의해 상관된 점들의 쌍들로부터 필연적으로 광선들이 투영될 수 있다.
도 3을 참조하면, 일반영상(G) 및 디지털카메라(C)에 의해 제공된 인물(I)의 영상(I) 간의 전술한 상관관계프로세스는 인터넷상의 서버컴퓨터(S)에 의해 수행될 수 있고, 카메라(C)에 의해 획득된 2차원영상들은 게임플레이어(예를 들어, 사진인쇄들로서)에 의해 우송되거나, 인터넷에 의해 제공된 통신링크(CL)를 통해 사용자의 컴퓨터(PC)로부터 서버상에 (예를 들어 이메일첨부물들로서) 업로드될 수 있다.
이 때문에, 서버컴퓨터(S)는 그 하드디스크(HD)에 다음의 것들을 저장하고 있다:
ⅰ) 통상적인 컴퓨터게임들을 위한 파일포맷변환소프트웨어를 포함하여 도 1에 윤곽이 그려진 프로세스들을 실행하도록 요구되는 소프트웨어, (예를 들어, 그루엔 알고리즘 또는 그 변수에 근거한) 그래픽소프트웨어 영상상관관계 소프트웨어, 및 입체영상처리소프트웨어;
ⅱ) WWW제출양식(F)을 사용자의 컴퓨터스크린상에 생성하고 사용자에 의해 그 안에 입력된 개인정보, 예를 들어 크레디트카드 세부사항 및 인물의 요구된 게임포맷을 처리하는 소프트웨어;
ⅲ) 적당한 보안소프트웨어를 포함하는 적당한 인터넷서버소프트웨어; 및
ⅳ) 적당한 운영체계
항목들 ⅲ) 및 ⅳ)는 그 자체로 잘 알려져 있고, 항목들 ⅰ) 및 ⅱ)은 합당하게 숙련된 프로그래머들이 필요한 코드를 작성하는 데 충분한 세부사항이 이미 설명되었으므로, 더 이상의 설명은 필요하지 않다.
사용자의 컴퓨터(PC)는 그 하드디스크(HD)상에 하나 이상의 게임프로그램들, 인터넷접근소프트웨어, 카메라(C)에 의해 제공된 영상들을 처리하기 위한 그래픽소프트웨어, 및 기준의 운영체계 예를 들어 윈도우즈95??또는 윈도우즈98??을 저장하고 있을 것이다. 컴퓨터(PC) 및 컴퓨터(S) 둘 다에는, RAM 및 ROM과 표준모뎀들(M) 또는 다른 통신장치들에 연결된 적당한 입력/출력회로(I/O) 뿐 아니라 표준 마이크로프로세서(μP), 예를 들어 인텔팬티엄??프로세서가 제공된다.
WWW제출양식(F)은 제출되는 영상들의 품질의 유효함, 및 몸 유형들의 선택을 허용하는 자바애플릿(Java Applet)에 근거한다고 예측된다. 서버조작자는, 처리하기 위해 받아들이기 전에 영상들을 그 사이즈, 해상도 및 그 가능한 대비비에 관해 시험하기를 원하기 쉽다. 이것이 어떤 크레디트카드트랜젝션을 수락하기 전에 애플릿에 의해 행해질 수 있다면, 이는 부적당한 변환들을 감소시키는 데 도움이 될 것이다. 잠재적인 불량(failure)들을 초기단계에 제거함으로써, 낭비된 처리시간을 줄이고, 영상들이 인물을 생성하기 위한 충분한 화질이 안 된다는 것을 알아내기 위해 몇 시간동안 기다리지 않으므로 소비자의 불만을 줄일 것이다.
웹페이지/양식의 정확한 설계가 주어지면, 유용한 데이터베이스가 게임사용자들로 구성될 수 있고, 장래 개발을 위해 판매되거나 메일 광고에 사용될 수도 있다.
인터넷제출양식(F)에 요구되는 기본적인 정보에 부가하여, 조작자는 그 자신의 사용들을 위해 사용자에게 다른 정보를 요청할 수 있다, 즉:
* 그가 놀이를 하는 게임들
* 나이
* 그가 우리를 어떻게 찾아내었는지
피사체의 단일 정면사진을 찍고, 얼굴특징들을 검출하고, 영상을 일반모델에 매핑하는 것이 가능할 수도 있다. 높은 비율의 두뇌가 얼굴인식의 작업에 전유되므로, 모델은 피사체 얼굴의 실제 기하학적 모양에 실제로 매우 근접하게 될 것이고, 텍스쳐맵은 매우 낮은 해상도인 것만 필요할 것이다. 이것이 툼 레이더(Tomb Raider)와 같은 게임들에 필요하게 될 수 있는 더 높은 해상도의 모델들에는 만족스럽지 않을 수도 있다.
바람직한 실시예는 인터넷서버에 근거하였지만, 발명은 영상들(I1 및 I2)이 획득되는 특별한 목적을 위해 세워진 게임부스에서 실행될 수도 있고, 처리는 부스 내에서 지엽적으로 또는 예를 들어 네트웍에서 다수의 그런 부스들에 링크된 서버컴퓨터에서 원격으로 수행될 수 있다.
변형에서는, 두 개 이상의 카메라들이 인물의 3차원표면을 획득하는 데 사용될 수 있다.

Claims (15)

  1. 대상체(1)의 3차원표현을 제공하는 방법에 있어서,
    대상체의 두 개 이상의 이차원영상들(I1, I2)이 불완전한 3차원표현(I)을 생성하도록 사진측정 처리되고, 불완전한 3차원표현은 3차원표현을 제공하도록 그런 대상체들의 일반표현(G)과 결합되는(300) 방법.
  2. 제1항에 있어서, 대상체(I)는 사람 또는 동물의 몸 또는 그 일부분인 방법.
  3. 제1항 또는 제2항에 있어서, 일반표현(G)과의 결합으로부터 얻어낸 3차원표현이 애니메이션 가능한 인물의 포맷으로 제공되는 방법.
  4. 제3항에 있어서, 애니메이션 가능한 인물의 파일이 컴퓨터게임으로 로드되는 방법.
  5. 컴퓨터게임인물을 개인화하는 방법에 있어서,
    게임 인물의 적어도 하나의 2차원영상(I1, I2)이 플레이어의 컴퓨터로부터 떨어진 위치에서 디지털 처리되며, 애니메이션 가능한 인물파일로 변환되고(900) 플레이어의 컴퓨터에 로드되는 컴퓨터게임인물 개인화방법.
  6. 제5항에 있어서, 게임인물의 적어도 두 개의 영상들(I1, I2)은 3차원애니메이션 가능한 인물파일을 제공하도록 상기 떨어진 위치에서 입체처리되는(100) 방법.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서, 애니메이션 가능한 인물파일은 통신링크(CL)를 통해 원격서버(S)로부터 다운로드되는 방법.
  8. 제7항에 있어서, 애니메이션 가능한 인물파일은 인터넷으로 다운로드되는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 적어도 하나의 2차원 영상(I1, I2)은 이것이 입체처리되는 원격서버(S)에 업로드되는 방법.
  10. 제1항 내지 제4항, 제6항 또는 제6항에 종속하는 제7항 내지 제9항 중 어느 한 항에 있어서, 대상체 또는 인물(1)의 3차원 기하학적 표현(1)이 변형된 일반기하학적 표현을 생성하도록 그런 대상체들 또는 인물들의 일반3차원 기하학적 표현(G)과 결합되고(300), 텍스쳐맵이 일반기하학적 표현과 결합되는(500) 방법.
  11. 제10항에 있어서, 일반3차원표현은 비균일유리B스플라인(NURBS)모델 형태로 되어 있고, 대상체 또는 인물(1)의 검출된 특징들에 의존하여 뒤틀리는 방법
  12. 제1항 내지 제4항, 제6항 또는 제6항에 종속하는 제7항 내지 제9항 중 어느 한 항에 있어서, 대상체 또는 인물(1)의 2차원영상(I1, I2)이 특징들을 검출하기 위해 분석되고, 대상체 또는 인물의 일반표현(G)은 그 특징들이 상기 2차원영상의 특징들과 부합하도록 뒤틀리는 방법.
  13. 제13항에 있어서, 실질적으로 직교관점들로부터 획득된 두 개의 그런 차원의 영상들(I1, I2)이 특징들을 검출하기 위해 분석되고, 상기 일반표현(G)은 그 특징들이 2차원영상들 둘 다의 특징들과 부합하도록 3차원적으로 뒤틀리는 방법.
  14. 제1항 내지 제 13항 중 어느 한 항에 있어서, 상기 2차원영상들(I1, I2)은 인간의 얼굴 또는 머리(1)의 영상들인 방법.
  15. 제1항 내지 제 14항 중 어느 한 항에 있어서, 대상체 또는 인물(1)의 3차원표현(I)은 다각형모델 형태로 제공되고(700), 다각형모델은 다각형이 감소되는(800) 방법.
KR1020007013639A 1998-06-01 1999-06-01 3차원영상처리방법 및 장치 KR20010074504A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9811695.7 1998-06-01
GBGB9811695.7A GB9811695D0 (en) 1998-06-01 1998-06-01 Facial image processing method and apparatus
PCT/GB1999/001744 WO1999063490A1 (en) 1998-06-01 1999-06-01 3d image processing method and apparatus

Publications (1)

Publication Number Publication Date
KR20010074504A true KR20010074504A (ko) 2001-08-04

Family

ID=10832987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007013639A KR20010074504A (ko) 1998-06-01 1999-06-01 3차원영상처리방법 및 장치

Country Status (6)

Country Link
EP (1) EP1082706A1 (ko)
JP (1) JP2002517840A (ko)
KR (1) KR20010074504A (ko)
AU (1) AU4275899A (ko)
GB (2) GB9811695D0 (ko)
WO (1) WO1999063490A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2342026B (en) * 1998-09-22 2003-06-11 Luvvy Ltd Graphics and image processing system
US7359748B1 (en) 2000-07-26 2008-04-15 Rhett Drugge Apparatus for total immersion photography
JP4677661B2 (ja) * 2000-10-16 2011-04-27 ソニー株式会社 動画像受注システム及び方法
US6980333B2 (en) * 2001-04-11 2005-12-27 Eastman Kodak Company Personalized motion imaging system
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
JP4521012B2 (ja) * 2007-04-13 2010-08-11 株式会社ソフイア 遊技機
JP5627860B2 (ja) 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
KR101050364B1 (ko) * 2009-09-30 2011-07-20 주식회사 한울네오텍 3차원 객체를 제공하는 사진 장치 및 그 제공방법
JP2013535726A (ja) * 2010-07-23 2013-09-12 アルカテル−ルーセント 仮想環境のユーザを視覚化するための方法
JP5603452B1 (ja) 2013-04-11 2014-10-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム
JP6219791B2 (ja) * 2014-08-21 2017-10-25 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9013983D0 (en) * 1990-06-22 1990-08-15 Nat Res Dev Automatic carcass grading apparatus and method
US5550960A (en) * 1993-08-02 1996-08-27 Sun Microsystems, Inc. Method and apparatus for performing dynamic texture mapping for complex surfaces
EP0664527A1 (en) * 1993-12-30 1995-07-26 Eastman Kodak Company Method and apparatus for standardizing facial images for personalized video entertainment
GB9610212D0 (en) * 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
DE19626096C1 (de) * 1996-06-28 1997-06-19 Siemens Nixdorf Inf Syst Verfahren zur dreidimensionalen Bilddarstellung auf einer Großbildprojektionsfläche mittels eines Laser-Projektors
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
IL121178A (en) * 1997-06-27 2003-11-23 Nds Ltd Interactive game system

Also Published As

Publication number Publication date
JP2002517840A (ja) 2002-06-18
GB2350511B (en) 2003-11-19
GB2350511A (en) 2000-11-29
EP1082706A1 (en) 2001-03-14
AU4275899A (en) 1999-12-20
WO1999063490A1 (en) 1999-12-09
GB9811695D0 (en) 1998-07-29
GB9912707D0 (en) 1999-08-04

Similar Documents

Publication Publication Date Title
US9569890B2 (en) Method and device for generating a simplified model of a real pair of spectacles
Aldrian et al. Inverse rendering of faces with a 3D morphable model
US6803910B2 (en) Rendering compressed surface reflectance fields of 3D objects
CN106373178B (zh) 生成人工图像的装置和方法
CN107484428B (zh) 用于显示对象的方法
CN104335005B (zh) 3d扫描以及定位系统
US20200057831A1 (en) Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
US11182945B2 (en) Automatically generating an animatable object from various types of user input
CA2516604A1 (en) Method and arrangement for optical recording of biometric finger data
WO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
KR20010074504A (ko) 3차원영상처리방법 및 장치
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
US11645800B2 (en) Advanced systems and methods for automatically generating an animatable object from various types of user input
Tarini et al. Texturing faces
Lee et al. Estimation of 3D faces and illumination from single photographs using a bilineaur illumination model
US11080920B2 (en) Method of displaying an object
Gallardo et al. Using Shading and a 3D Template to Reconstruct Complex Surface Deformations.
JP2001012922A (ja) 3次元データ処理装置
JP4623320B2 (ja) 三次元形状推定システム及び画像生成システム
Schütz Geometric point matching of free-form 3D objects
JP2000348208A (ja) 3次元データ生成装置および3次元データ生成方法
CN117724318A (zh) 基于移动设备状态的电子身份卡全息防伪方法及装置
Aanæs et al. Our 3D vision data-sets in the making
Larsen et al. 3D Reconstruction of Buildings From Images with Automatic Façade Refinement

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid