KR20010103026A - 3차원 환경 라벨링 - Google Patents

3차원 환경 라벨링 Download PDF

Info

Publication number
KR20010103026A
KR20010103026A KR1020017010836A KR20017010836A KR20010103026A KR 20010103026 A KR20010103026 A KR 20010103026A KR 1020017010836 A KR1020017010836 A KR 1020017010836A KR 20017010836 A KR20017010836 A KR 20017010836A KR 20010103026 A KR20010103026 A KR 20010103026A
Authority
KR
South Korea
Prior art keywords
image
objects
image plane
dimensional
label
Prior art date
Application number
KR1020017010836A
Other languages
English (en)
Other versions
KR100798284B1 (ko
Inventor
헤론다레알.
토르네크리스토퍼
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010103026A publication Critical patent/KR20010103026A/ko
Application granted granted Critical
Publication of KR100798284B1 publication Critical patent/KR100798284B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따라서, 2D 이미지 평면(6)상에 표현되는 3D 가상 세계의 대상(3, 4)는 2D 이미지 평면(6) 자체내에 발생된 라벨(7, 8)을 구비한다. 상기 라벨들은 2D 이미지 평면상에 표현된 대상과 공간적으로 정합되어 있다. 2D 이미지 평면에 라벨을 발생시키는 것은 라벨들이 가상 세계 자체에 제공되고 3D 가상 세계로부터 랜더링될 때 발생될 수 있는 투시(perspective) 및 에일리어싱(aliasing)에 관련된 문제들을 피할 수 있게 해준다.

Description

3차원 환경 라벨링{3D Environment Labelling}
사용자가 3차원(3D) 가상 공간을 체험할 수 있도록 해주는 한가지 공용 기술로는 사용자에게 상기 환경으로의 시계(view)를 제공하는 2차원(2D) 디스플레이 "윈도우"를 제공하는 것이다.
가상 환경이 3차원으로 환경을 표현한 데이터 형태로 저장되어 있는 반면에, 이 데이터는 사용자에게 2차원 시계를 제공하도록 처리되고, 그래서 사용자는 특정 관측지점(viewpoint)으로부터 보고 있는 것처럼 3차원 가상 환경의 표현을 보게 된다. 사용자가 상기 환경을 탐사할 때 이 관측지점은 변화한다. 3D 표현을 2D 시계로 투사하는 이러한 처리는 때때로 랜더링이라 지칭된다.
사용자가 이런 3D 환경을 항해할 때, 다양한 대상들과 만나게 된다. 대상들을 만나게 될 때, 때때로, 대상의 정체, 대상에 관한 보충 정보 또는 대상과의 상호작용의 결과로서 사용자에게 돌아가는 정보까지 등의 상기 대상에 관한 정보를 사용자에게 밝히는 것이 바람직하다.
이런 정보를 사용자에게 제공하기 위한 한가지 공지된 방법은 3D 가상 환경내에 그것이 존재하는 것처럼, 상기 대상과 일체화된 라벨 형태로 정보를 디스플레이하는 것이다. 이 방법은, 상기 라벨들이 그들이 관련되어 있는 대상과 공간적으로 정합되어 있고, 이것이 주어진 시간에 시계내에 하나 이상의 대상이 나타날 때 혼란을 피할 수 있다는 장점이 있다. 실제로, 예로서, 1996년 8월 4일에 ISO/IEC WD 14772로서 발행된 VRML 표준, 버전 2에 설명된 바와 같이 가상 현실 모델링 언어(VRML ; Virtual Reality Modelling Language)는 3D 환경/데이터베이스에 이런 텍스트 라벨링을 가능하게 하는 "텍스트 노드(text nodes)"를 허용한다. 그러나, 이들 라벨들은 가상 세계 자체에 근원적으로 부여된 것이기 때문에, 때때로 여러가지 이유들로 판독하기 어려워울 수 있다.
상기 라벨이 대상에 대하여 고정될 때 첫 번째 문제점이 발생한다. 직접적인 정면이 아닌 먼 곳에서 대상을 보게될 때, 텍스트 라벨이 관측지점에 직접적으로 대면하지 않는다는 것이다. 결과적으로, 상기 텍스트는 각도가 있는 상태에서 보는 것 처럼 디스플레이되고, 그래서, 텍스트 문자들의 과도한 경사나 다른 텍스트 문자들에 의해 일부 텍스트 문자들이 가려져서 판독하지 못하게 된다. 뒤쪽에서 대상을 보게 되면, 텍스트는 뒷편으로부터 디스플레이되며, 이 또한 판독을 어렵게 만든다. 부딪힐 수 있는 두 번째 문제점은 에일리어싱(aliasing), 즉, 랜더링 처리 자체의 텍스트 라벨의 택스쳐 맵(texture map)의 이산화(discretisation)로 인하여, "계단"형 외관을 취하게 되는 텍스트 문자들의 사선 윤곽 효과(effect of diagonal feature)이다. 비록, 이 효과가 문자들이 정면에서 보여질 때는 참을만하지만, 이 효과는 상기 텍스트가 각도가 있는 상태에서 보여질 때 심해지며, 불쾌한 외관을 형성하고, 텍스트의 판독성을 감소시킨다. 세 번째 문제점은 일반적인 텔레비젼 디스플레이에 사용되고 있는 모드인 인터레이스 모드(interlaced mode)에서 작동하는 디스플레이상에 가상 세계가 재구성될 때 발생될 수 있다. 이런 작동의 형태는 인터레이스 플리커(interlace flicker)라 공지된 효과를 높히며, 이는 텍스트의 상부 및 하부 같은 디스플레이된 아이템들의 수평 경계부들에서 특히 눈에 띄기 쉽다.
본 발명은 가상 환경의 대상들에 대한 식별 라벨들 등을 제공하는 장치 및 방법에 관한 것으로, 특히, 디스플레이에 대하여 이런 라벨들을 생성하는 것에 관한 것이다.
도 1은 라벨들을 도시하고 있는, 내부에 대상들이 위치 선정되어 있는, 2차원으로 표현되기 위한 3차원 가상 환경의 일부를 도시하는 도면.
도 2는 2차원으로 표현될 때 대상의 위치 선정을 확립하기 위한 기술을 도시하는 도면.
도 3은 본 발명을 수행하기에 적합한 시스템의 개략도.
본 발명의 목적은 3차원 가상 환경에서 한정된 대상과 관련된 라벨들의 제공을 개선시키는 장치 및 방법을 제공하는 것이다.
본 발명의 첫 번째 양태에 따라서, 3차원(3D) 가상 환경에서 한정된 대상들(3, 4)을 위한 라벨을 제공하는 방법으로서, 상기 대상들이 관측지점(2)으로부터 관측되는 3D 환경을 표현하는 이미지를 발생시키도록 랜더링 처리에서 이들 대상들을 2D 이미지 평면상으로 투사함으로써 2차원(2D) 이미지 평면(6)상에 표현되는, 상기 라벨을 제공하는 방법은,
2D 이미지 평면에 표시되는 대상(3, 4)의 위치 선정을 확립하고, 그에 대해 대상 위치 기준점을 지정하는 단계와,
상기 대상 위치 기준점과 관련되어, 2차원에서 그와 함께 이동될 수 있는 2차원(2D) 라벨 이미지(7, 8)를 발생시키는 단계를 포함한다.
상기 라벨이 3D 가상 공간으로부터 라벨을 투사하는 처리 대신 2차원 이미지로서 발생되기 때문에, 사용자들의 관측지점으로부터 지각된 관련 대상의 배향에 무관하게 라벨은 항상 사용자의 정면을 향하도록 표현된다. 이런 발생 방법은 판독이 쉬운 라벨을 디스플레이하는 것을 곤란하게 하는 상술한 투시 문제(perspective issue)를 극복한다.
양호한 실현예에서, 상기 2차원 라벨 이미지는 3차원 랜더링된 장면을 포함하는 이미지 평면에 오버레이(overlay)되는 2차원 오버레이 평면에 발생된다.
상기 방법은 3D 가상 환경에서 한정된, 관련 대상(4)를 둘러싸는 크기의 경계 박스(9; bounding box)를 제공함으로써 2D 이미지 평면(6)에 표시되는 대상(3, 4)의 위치 선정을 확립하는 단계와, 상기 경계 박스의 중심을 확립하는 단계와, 관측지점(2)으로부터 관측되는 대상 위치 선정을 나타내는 그 내부의 위치(11)를 발생시키기 위해, 랜더링 처리에서 2D 이미지 평면상에 중심의 위치 선정을 투사하는 단계를 더 포함할 수 있다. 일단 이런 위치가 확립되면, 예로서, 상기 대상 위에 라벨을 위치시키는 것을 허용하도록 수직방향 오프셋 같은 부가적인 오프셋을 제공하는 것이 가능하다.
이 단계는 2D 이미지 평면에 그들이 나타날 때 대상들의 위치를 일관성있게 식별하는 방법을 제공한다. 상기 형성 기술은 사용자의 개입없이 자동으로 수행되는 것이 바람직하다.
상기 2차원 라벨 이미지들은 관측지점으로부터 가상 환경에서 한정된 관련 대상의 거리에 의존하는 크기로 발생되는 것이 바람직하다. 즉, 관측지점에 대해 멀리있는 대상은 보다 작은 크기로 발생된, 관련된 라벨을 구비하고, 관측지점에대해 가깝게 있는 대상들은 보다 큰 크기로 발생된, 관련 라벨들을 구비한다. 이 경우에, 스케일링(scaling)나 텍스트 라벨 컬러의 쉐이딩(shading) 같은 소정 종류의 가시적 차이가 멀고 가까운 라벨들에 대해 제공될 수 있다.
스케일링 파라미터가 3D 가상 환경으로부터 2D 이미지 평면으로 대상을 투사하는 처리에 채용되는 경우에, 상기 스케일링 파라미터는 대상과 관련된 발생된 라벨의 크기를 결정하는데 사용될 수 있다.
라벨 이미지들은 텍스트 데이터를 포함할 수 있다.
이미지 데이터 처리가 발생된 2차원 라벨 이미지들에 적용될 수 있다. 이런 이미지 데이터 처리는 안티에일리어싱 및 인터레이스 플리커 소거등의 표준 이미지 처리 기술을 포함한다. 이런 처리의 적용은 일반적으로 3D 가상 환경으로부터 투사된 라벨들 보다 2차원으로 발생된 라벨에 대하여 보다 효과적이다. 부가적으로, 2차원 이미지들이 오버레이 평면에 발생되는 경우에는 단순히, 오버레이 평면에만 처리를 적용함으로써 2D 이미지 평면상에 투사된 대상들을 제외한 라벨들에만 이미지 처리들이 적용될 수 있다.
본 발명의 두 번째 양태에 따라서, 3차원(3D) 가상 환경에서 한정된 대상들을 가진 디스플레이를 위해 라벨들을 발생시키도록 구성된 데이터 처리 장치로서, 어떤 관측지점으로부터 관측되는 3D 환경을 표현하는 이미지를 발생시키기 위해, 랜더링 처리에서 이들 대상들을 2차원(2D) 이미지 평면상으로 투사함으로써 2D 이미지 평면상에 상기 대상들이 표시될 수 있는, 상기 데이터 처리 장치에 있어서,
2D 이미지 평면에 표시된 대상의 위치 선정을 확립하고, 그에 대한 대상 위치 기준점을 지정하는 대상 위치 선정 수단과,
상기 대상 위치 기준점과 관련된, 2차원(2D) 라벨 이미지를 발생시켜 2차원에서 그와 함께 라벨 이미지를 이동시키는 발생 수단을 포함한다.
본 발명의 다른 양태들 및 선택적인 특성들은 첨부된 청구범위에 나타나 있으며, 그 내용들은 하기의 상세한 설명에 참조되어 있다.
도 1을 참조하면, 3차원(3D) 가상 환경(1)이 x, y, z 축들에 의해 지시된 방향으로 확장되는 것으로 도시되어 있다. 상기 3D 가상 환경은 다수의 대상들을 포함할 수 있지만, 본 발명의 목적을 설명하기 위해서 두 개의 예시 대상들(3, 4)만이 도 1에 도시되어 있다. 이제, 3D 가상 환경이 위치 2로 지시된 관측지점으로부터 관측되는 것으로 가정한다. 뷰 프러스튬(5; view frustum)은 관측지점(2)으로부터 관측되는 바와 같이 3D 환경을 나타내는 이미지를 발생시키도록 랜더링 처리에서 2D 이미지 평면상으로 투사될 3D 가상 환경의 일부를 경계짓는다. 사용자가 3차원 환경을 항해할 때, 상기 사용자에게 3D 환경의 시계를 제공하는 것은 2D 이미지이다. 뷰 프러스튬(5) 자체는 "클립 평면들"이라 공지된 다수의 평면들을 한정한다. 도 1에 도시된 배열에서, 상기 평면들은 전방 클립 평면(5a), 후방 클립 평면(5b), 좌측 클립 평면(5c), 우측 클립 평면(5d), 하부 클립 평면(5e) 및 상부 클립 평면(5f)으로서 표시될 수 있다. 비록, 3D 가상 환경이 이들 클립 평면들 외측으로 확장된다는 것을 밝히기 위한 목적으로 설명되었지만, 3D 가상 환경 중 상기 클립 평면들에 의해 둘러싸여진 부분만이 2D 이미지 평면상에 랜더링된다. 클립 평면들내에 포함된 3D 가상 환경의 이들 부분들만이 2D 이미지 평면상에 표현되기 때문에, 상기 클립 평면들 외측에 있는 3D 환경의 부분들상에는 랜더링 작업을 수행할 필요가 없다.
2D 이미지 평면은 단지 x, y 방향으로만 연장하며, 이는 참조 부호 6으로 도시되어 있다. 본 특정 실시예에서, 상기 전방 클립 평면(5a)은 2D 이미지 평면(6)과 동일 평면이다. 즉, 두 개의 평면들은 동일한 z 좌표를 갖는다. 그러나, 이는 필수적인 것은 아니며, 본 기술 분야의 숙련자들은 이를 용이하게 알 수 있을 것이다.
3D 가상 환경을 2D 이미지 평면상에 랜더링(투사)하여 3D 가상 환경의 2D 표현을 형성하는 처리는 본 기술분야의 숙련자들에게는 공지되어 있는 것이며, 이들에 의해 수행될 수 있는 것이기에 본 명세서에서는 부가적으로 상세히 설명하지 않는다.
라벨 이미지들이 2D 이미지 평면에 나타난 각 대상에 대하여 제공될 수 있다. 상기 라벨들은 2D 이미지 평면(6)내에 투사될때 대상의 위치 선정을 확립하고,상기 확립된 위치 선정에 또는 근처에 대상과 함께 디스플레이되는 2차원 라벨 이미지를 발생함으로써 제공된다. 상기 라벨들을 이들이 관련 대상과 공간적으로 정합시켜 제공함으로써, 이는 2D 이미지 평면에 하나 이상의 대상이 나타날 때 잘못된 대상과 라벨이 관련되는 위험을 최소화하도록 기능한다. 도 1에 도시된 바와 같이, 대상 3은 라벨 7을 가지고 있고, 대상 4는 라벨 8을 가지고 있다. 상기 라벨들은 그들이 관련 대상에 대해 오프셋되어 위치될 수 있다. 3D내에서 대상이 위치 선정된 위치가 변경되면, 상기 라벨이 상기 대상과 공간적으로 정합된 위치에 남아 있도록 그 대상과 관련된 라벨의 위치 선정도 변경된다. 따라서, 대상이 2D 이미지 평면에서 이동하는 것으로 보여질 때, 라벨도 그와 함께 이동하는 것으로 보여진다. 2D 이미지 평면에 표현될 때의 대상의 위치는 3D 가상 환경에서 대상이 이동하거나, 또는 관측지점(2)이 변경되는 어느 한쪽의 이유로 변화될 수 있다.
라벨 이미지는 아웃셋(outset)으로부터 2차원으로 발생된다. 이는 상술한 대상에 라벨들을 제공하는 공지된 기술, 즉, 3D 가상 환경 자체에 라벨을 제공하고, 3D 환경으로부터 이들 라벨들의 이미지를 대상의 나머지 부분과 함께 2D 이미지 평면으로 랜더링하는 기술과의 대비되는 점이다.
2차원으로 라벨 이미지를 발생시키고, 상기 라벨 이미지들을 2D 이미지 평면상에 매핑함으로써, 라벨이 관련되어 있는 대상이 정면이 아닌 경사져서 보여지게 되는 것과 무관하게, 상기 라벨 이미지들은 항상 정면으로 이미지 평면에 나타나게 된다.
라벨들이 3D 가상 환경 자체에 제공되지 않기 때문에, 라벨 이미지를 나타내는 데이터는 분리되어 제공된다. 라벨 이미지 데이터를 3D 가상 세계의 개별적 대상들과 일치시키기 위한 수단이 제공된다. 상기 라벨들은 2D 택스쳐 맵이되는 경향을 갖는다.
2D 이미지 평면상에 매핑될 때 발생된 라벨들의 크기는 그와 관련 대상의 관측지점(2)으로부터의 거리에 의해 좌우될 수 있다. 도 1의 실시예에서, 가상 3D 환경내에서, 대상 3은 관측지점(2)으로부터 보다 먼 거리에 위치 선정되어 있고, 대상 4는 관측지점(4)에 대해 보다 적은 거리에 위치 선정되어 있다. 대상들(3, 4)이 가상 환경의 배경에서 서로 동일한 크기인 것으로 가정할 때, 이때, 대상 4가 2D 이미지 평면상으로 투사될 때, 대상 3의 투사체 보다는 더 크게 보이게 된다. 이 원근 효과를 보완하기 위해서, 관련된 라벨들은 2D 이미지 평면에서 지각될 때의 대상의 크기에 적합한 크기로 발생된다. 이는 대상 4와 관련된 라벨 8이 대상 3과 관련된 라벨 7보다 크게 도시되어 있는 도 1에 예시되어 있다. 2D 이미지 평면상에 각 대상을 랜더링된 각 대상에 대해서, 2D 이미지 평면에서의 대상의 위치 선정을 지시하는 기준점이 제공되고, 그래서, 대상과 관련된 라벨이 이 기준점에 대하여 위치 선정될 수 있다. VRML의 배경에서 이런 기준점을 제공하는 한가지 방법을 도 2를 참조로 설명한다(VRML은 예로서, 1996년 8월 4일에 ISO/IEC WD 14772로서 발행된 VRML 표준, 버전 2에 설명된 바와 같이 가상 현실 모델링 언어라 지칭된다. VRML은 인터넷/월드 와이드 웹상에서 겪게될 3차원 세계를 기술하기 위한 파일 포맷이다.). 대상 4가 도 2에 3D 가상 환경으로 도시되어 있고, 소위 경계 박스(9)가 그에 적용된 상태로 도시되어 있다. 경계 박스는 대상을 포함할 수 있는 최소 직사각형 체적이다. 이 경계 박스의 일부(예로서, 그 중심을 나타내는 부분 10)가 2D 이미지 평면상에 투사를 위하여 기준점(11)을 제공하기 위해 선택된다. 실제 라벨은 기준점(11)으로부터 오프셋된 위치 선정에 발생될 수 있고, 이 오프셋의 효과는 라벨을 위치시키기 위해 선택된 위치 선정(12)을 결정한다.
라벨 이미지들은 예로서, 라벨이 관련 대상의 본질을 나타내는 이름 또는 대상의 상태를 지시하는 동적으로 변화되는 텍스트 형태의 텍스트 데이터를 포함할 수 있다. 상기 라벨은 스크롤식 텍스트 데이터를 제공할 수 있다.
발생된 텍스트 라벨들을 2D 이미지 평면상에 매핑하는 대신, 텍스트 라벨들이 발생되어 있는 부가적인 2차원 오버레이 평면을 제공할 수 있다. "오버레이(overlay)"라는 용어는 상기 오버레이 평면에 발생된 어떤 이미지가 우세하고, 이 평면에 발생된 이미지가 중첩된 영역들내의 언더레이 이미지 평면내의 2D 이미지의 부분들을 가리게 된다는 것을 나타내도록 사용된다. 그러나, 도 1의 모델에서는, 2D 이미지 평면과 오버레잉 평면이 동일 평면인 것으로 간주될 수 있다.
이런 오버레이 평면은 필립스 트리미디어 멀티미디어 마이크로프로세서의 소위 "오버레이 평면"과 같은 형태로 제공된다.
2D내에 발생된 라벨 이미지들은 그들 자체적으로 안티에일리어싱 및 인터레이스 플리커의 소거 같은 이미지 처리 기술을 돕는다. 상기 이미지가 예로서, 오버레이 평면 같은 그들 자체의 평면에 발생되는 경우, 2D 이미지 평면에 랜더링될 3D 대상들의 외관에는 영향을 미치지 않고 2D 라벨 이미지에만 이미지 처리 기술을 선택적으로 적용하는 것이 가능하다.
도 3을 참조하면, 본 발명을 수행하기 위한 시스템은 데이터 버스(32)와 어드레스를 경유하여 랜덤 억세스 메모리(RAM) 및 리드 온리 메모리(ROM) 디바이스(34, 38)에 결합된 중앙 처리 유니트(CPU)를 포함한다. 이들 메모리 디바이스들의 용량은 자기 디스크등의 형태의 저장부에 대한 억세스를 시스템에 제공함으로써 확대시킬 수 있다. 랜더링된 2D 이미지 평면과 발생된 라벨들(이미지 평면상에 매핑되었던지 또는 분리된 오버레이 평면에 발생되었던지)의 디스플레이에 대한 비디오 출력은 CPU(30)의 제어하에 디스플레이 드라이버 스테이지(37)에 의해 구동되는 디스플레이 스크린(38)상에 표현된다.
본 명세서를 통해 본 기술분야의 숙련자들은 다른 변용들을 명백하게 고안할 수 있을 것이다. 이런 변용들은 시스템들 및 디바이스들과 그 부품들을 설계하고, 제조하고 사용하는 것에서 이미 공지된 다른 특성들을 포함할 수 있으며, 이들은 본 명세서에 이미 설명한 특성들에 추가하여 또는 그대신 사용될 수 있다.

Claims (10)

  1. 3차원(3D) 가상 환경에서 한정된 대상들(3, 4)을 위한 라벨들을 제공하는 방법으로서, 어떤 관측지점(2)으로부터 관측되는 3D 환경을 표현하는 이미지를 발생시키기 위해, 랜더링 처리에서 이들 대상들을 2차원(2D) 이미지 평면상에 투사함으로써 2D 이미지 평면(6)상에 상기 대상들이 표시되는, 상기 라벨들을 제공하는 방법에 있어서,
    상기 2D 이미지 평면에 표시되는 대상(3, 4)의 위치 선정을 확립하고, 그에 대한 대상 위치 기준점을 지정하는 단계, 및
    상기 대상 위치 기준점과 관련되어, 2차원에서 그와함께 이동될 수 있는 2차원(2D) 라벨 이미지(7, 8)를 발생시키는 단계를 포함하는, 상기 라벨들을 제공하는 방법.
  2. 제 1 항에 있어서,
    상기 이미지 평면에 오버레이하는 2차원 오버레이 평면에 상기 2차원 라벨 이미지(7, 8)를 발생시키는 단계를 더 포함하는, 상기 라벨들을 제공하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 3D 가상 환경에서 한정된, 관련 대상(4)을 둘러싸는 크기의 경계 박스(9)를 제공함으로써 2D 이미지 평면(6)에 표시되는 대상(3, 4)의 위치 선정을확립하는 단계,
    상기 경계 박스(10)의 중심을 확립하는 단계, 및
    상기 관측지점(2)으로부터 관측되는 대상 위치 선정을 나타내는 그 내부의 위치(11)를 발생시키기 위해, 랜더링 처리에서 2D 이미지 평면상에 중심의 위치 선정을 투사하는 단계를 더 포함하는, 상기 라벨들을 제공하는 방법.
  4. 제 3 항에 있어서,
    상기 관측지점(2)으로부터 관측되는 대상 위치 선정을 나타내는 위치에 오프셋을 도입하는 단계를 더 포함하는, 상기 라벨들을 제공하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 관측지점(2)으로부터 가상 환경내에 한정된 관련 대상(3, 4)의 거리에 의존하는 크기를 가진 2차원 라벨 이미지(7, 8)를 발생시키는 단계를 더 포함하는, 상기 라벨들을 제공하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 3D 가상 환경으로부터의 대상을 2D 이미지 평면(6)상에 투사하는 동안 대상(3, 4)에 적용된 어떤 크기 스케일링 파라미터를 채택하는 단계, 및
    그 크기를 제어하도록 2D 관련 라벨 이미지(7, 8)를 발생시킬 때 상기 파라미터를 적용하는 단계를 더 포함하는, 상기 라벨들을 제공하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 라벨 이미지들(7, 8)이 텍스트 데이터를 포함하는, 상기 라벨들을 제공하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    발생된 2차원 라벨 이미지들(7, 8)에 이미지 데이터 처리를 적용하는 단계를 더 포함하는, 상기 라벨들을 제공하는 방법.
  9. 제 8 항에 있어서,
    상기 적용된 이미지 데이터 처리는 안티에일리어싱 처리(anti-aliasing treatment) 또는 인터레이스 플리커 소거(the cancellation of interlace flicker)에 대한 처리나 이들 양자 모두를 포함하는, 상기 라벨들을 제공하는 방법.
  10. 3차원(3D) 가상 환경에서 한정된 대상들(3, 4)을 가진 디스플레이를 위해 라벨들을 발생하도록 구성된 데이터 처리 장치로서, 어떤 관측지점(2)으로부터 관측되는 3D 환경을 표현하는 이미지를 발생시키기 위해, 랜더링 처리에서 이들 대상들을 2차원(2D) 이미지 평면상에 투사함으로써 2D 이미지 평면(6)상에 상기 대상들이 표시될 수 있는, 상기 데이터 처리 장치에 있어서,
    상기 2D 이미지 평면(6)에 표시되는 대상(3, 4)의 위치 선정을 확립하고, 그에 대한 대상 위치 기준점을 지정하는 대상 위치 선정 수단,
    상기 대상 위치 기준점과 관련된 2차원(2D) 라벨 이미지(7, 8)를 발생시켜, 2차원에서 그와함께 라벨 이미지를 이동시키는 발생 수단을 포함하는, 데이터 처리 장치.
KR1020017010836A 1999-12-24 2000-12-12 3차원 환경 라벨링 KR100798284B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9930850.4 1999-12-24
GBGB9930850.4A GB9930850D0 (en) 1999-12-24 1999-12-24 3D environment labelling

Publications (2)

Publication Number Publication Date
KR20010103026A true KR20010103026A (ko) 2001-11-17
KR100798284B1 KR100798284B1 (ko) 2008-01-28

Family

ID=10867177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017010836A KR100798284B1 (ko) 1999-12-24 2000-12-12 3차원 환경 라벨링

Country Status (6)

Country Link
US (1) US6690393B2 (ko)
EP (2) EP1157361A1 (ko)
JP (2) JP4786849B2 (ko)
KR (1) KR100798284B1 (ko)
GB (1) GB9930850D0 (ko)
WO (1) WO2001048700A1 (ko)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
WO2001082279A2 (en) * 2000-04-24 2001-11-01 The Trustees Of Columbia University In The City Of New York System and method for dynamic space management of a display space
US20080060009A1 (en) * 2000-12-22 2008-03-06 Hillcrest Laboratories, Inc. Client/server methods and systems for generating a user interface
JP4845289B2 (ja) * 2001-02-20 2011-12-28 キヤノン株式会社 情報処理装置及び方法
US7643024B2 (en) * 2001-05-17 2010-01-05 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP2003104688A (ja) * 2001-09-28 2003-04-09 Hitachi Constr Mach Co Ltd 建設機械の表示装置における表示方法及びその表示装置
US6917360B2 (en) 2002-06-21 2005-07-12 Schlumberger Technology Corporation System and method for adaptively labeling multi-dimensional images
US20040027394A1 (en) * 2002-08-12 2004-02-12 Ford Global Technologies, Inc. Virtual reality method and apparatus with improved navigation
EP1595229A2 (en) * 2003-01-13 2005-11-16 Koninklijke Philips Electronics N.V. Method and apparatus of displaying of a medical image
US20050044509A1 (en) * 2003-05-07 2005-02-24 Hunleth Frank A. Item selection using helical menus
US8601396B2 (en) * 2003-05-08 2013-12-03 Hillcrest Laboratories, Inc. Systems and methods for node tracking and notification in a control framework including a zoomable graphical user interface
US20040268393A1 (en) 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
US8555165B2 (en) * 2003-05-08 2013-10-08 Hillcrest Laboratories, Inc. Methods and systems for generating a zoomable graphical user interface
US7230608B2 (en) * 2004-04-23 2007-06-12 Eastman Kodak Company OLED display and touch screen
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
WO2006058129A2 (en) 2004-11-23 2006-06-01 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US20060200662A1 (en) * 2005-02-01 2006-09-07 Microsoft Corporation Referencing objects in a virtual environment
US20080065989A1 (en) * 2006-08-29 2008-03-13 Hillcrest Laboratories, Inc. Playlist creation tools for television user interfaces
JP2008102467A (ja) * 2006-10-19 2008-05-01 Kokusai Kogyo Co Ltd サインオブジェクト表示システム
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US8199166B2 (en) * 2008-03-14 2012-06-12 Schlumberger Technology Corporation Visualization techniques for oilfield operations
US8676975B2 (en) 2008-05-15 2014-03-18 International Business Machines Corporation Virtual universe desktop exploration for resource acquisition
US8671198B2 (en) * 2008-06-02 2014-03-11 International Business Machines Corporation Resource acquisition and manipulation from within a virtual universe
US20090306998A1 (en) * 2008-06-06 2009-12-10 Hamilton Ii Rick A Desktop access from within a virtual universe
US8780131B2 (en) * 2008-12-19 2014-07-15 Xerox Corporation Systems and methods for text-based personalization of images
US8462153B2 (en) * 2009-04-24 2013-06-11 Schlumberger Technology Corporation Presenting textual and graphic information to annotate objects displayed by 3D visualization software
US8363051B2 (en) * 2009-05-07 2013-01-29 International Business Machines Corporation Non-real-time enhanced image snapshot in a virtual world system
US8754884B2 (en) * 2009-09-21 2014-06-17 Xerox Corporation 3D virtual environment for generating variable data images
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
FR2960078A1 (fr) * 2010-05-17 2011-11-18 France Telecom Aide a la navigation a traitement de donnees d'affichage perfectionne
JP5460547B2 (ja) * 2010-09-30 2014-04-02 株式会社東芝 医用画像診断装置、及び医用画像診断装置の制御プログラム
US9547938B2 (en) 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view
EP2817958A1 (en) * 2012-02-22 2014-12-31 Sony Ericsson Mobile Communications AB Method and device relating to image content
US9842425B2 (en) 2012-09-21 2017-12-12 Euclideon Pty Ltd. System and method for rendering three-dimensional scenes by a computer graphics processor using orthogonal projection
FR2998080A1 (fr) * 2012-11-13 2014-05-16 France Telecom Procede d'augmentation de la realite
US10242400B1 (en) * 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US9530239B2 (en) 2013-11-14 2016-12-27 Microsoft Technology Licensing, Llc Maintaining 3D labels as stable objects in 3D world
JP6835536B2 (ja) * 2016-03-09 2021-02-24 株式会社リコー 画像処理方法、表示装置および点検システム
CN107180406B (zh) 2016-03-09 2019-03-15 腾讯科技（深圳）有限公司 图像处理方法和设备
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
CA3092884A1 (en) * 2018-03-27 2019-10-03 Spacedraft Pty Ltd A media content planning system
JP6854972B2 (ja) * 2018-05-02 2021-04-07 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US10854007B2 (en) * 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
CN114127837A (zh) * 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
US11210851B1 (en) 2019-06-14 2021-12-28 State Farm Mutual Automobile Insurance Company Systems and methods for labeling 3D models using virtual reality and augmented reality
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US11743340B2 (en) * 2020-06-10 2023-08-29 Snap Inc. Deep linking to augmented reality components
US11683290B1 (en) * 2020-07-15 2023-06-20 Glossi, Inc. System for producing e-commerce product videos
US11863863B2 (en) * 2020-07-22 2024-01-02 Unity IPR ApS System and method for frustum context aware digital asset suggestions
US11838336B2 (en) * 2020-08-27 2023-12-05 Varty Inc. Virtual events-based social network
CN116324681A (zh) * 2020-09-14 2023-06-23 交互数字Ce专利控股有限公司 触觉场景表示格式
US11632454B2 (en) * 2021-04-19 2023-04-18 Meta Platforms Technologies, Llc Head-worn wearable devices for automatically ceasing the capture of video data, and methods of use thereof
KR20230147312A (ko) * 2022-04-14 2023-10-23 주식회사 피아몬드 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템
CN114758075B (zh) * 2022-04-22 2023-03-24 如你所视(北京)科技有限公司 用于生成三维标签的方法、装置和存储介质
US11995789B2 (en) * 2022-06-15 2024-05-28 VRdirect GmbH System and method of creating, hosting, and accessing virtual reality projects
US11860931B1 (en) * 2022-07-11 2024-01-02 Truist Bank Graphical user interface with insight hub and insight carousel
US20240031530A1 (en) * 2022-07-20 2024-01-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246690A (ja) * 1990-08-29 1992-09-02 Xerox Corp 高品質のイメージを並みの解像度で表示する方法
JPH0660164A (ja) * 1992-08-06 1994-03-04 Hitachi Ltd ３次元形状処理システム
US5526478A (en) * 1994-06-30 1996-06-11 Silicon Graphics, Inc. Three dimensional model with three dimensional pointers and multimedia functions linked to the pointers
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
JPH08287288A (ja) * 1995-03-24 1996-11-01 Internatl Business Mach Corp <Ibm> 対話式三次元グラフィックスにおける複数側面アノテーション及びホットリンク
JP3266236B2 (ja) * 1995-09-11 2002-03-18 松下電器産業株式会社 車載用ナビゲーション装置
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JP3343840B2 (ja) * 1996-02-26 2002-11-11 アルパイン株式会社 地図描画方法及び地図描画装置
JP3474053B2 (ja) * 1996-04-16 2003-12-08 株式会社日立製作所 ナビゲーション装置の地図表示方法およびナビゲーション装置
JPH1166349A (ja) * 1997-08-12 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> 移動量予測型景観ラベリング装置およびシステム
US6172680B1 (en) * 1997-09-23 2001-01-09 Ati Technologies, Inc. Method and apparatus for a three-dimensional graphics processing system including anti-aliasing
US6362817B1 (en) * 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6473751B1 (en) * 1999-12-10 2002-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for defining search queries and user profiles and viewing search results

Also Published As

Publication number Publication date
US20020054129A1 (en) 2002-05-09
GB9930850D0 (en) 2000-02-16
JP4786849B2 (ja) 2011-10-05
JP2011081848A (ja) 2011-04-21
EP1157361A1 (en) 2001-11-28
EP2267661A1 (en) 2010-12-29
WO2001048700A1 (en) 2001-07-05
JP2003518673A (ja) 2003-06-10
US6690393B2 (en) 2004-02-10
KR100798284B1 (ko) 2008-01-28

Similar Documents

Publication Publication Date Title
KR100798284B1 (ko) 3차원 환경 라벨링
US6426757B1 (en) Method and apparatus for providing pseudo-3D rendering for virtual reality computer user interfaces
EP0451875B1 (en) Image displaying system
US6529207B1 (en) Identifying silhouette edges of objects to apply anti-aliasing
Kalkofen et al. Visualization techniques for augmented reality
CN104995666B (zh) 用于在真实环境中表示虚拟信息的方法
JP2009217838A (ja) 多層スクリーンの表示方法
WO2004036503A1 (en) Method and system for producing a pseudo three-dimensional display utilizing a two-dimensional display device
EP2477160A1 (en) Apparatus and method for providing augmented reality perceived through a window
CN109741431B (zh) 一种二三维一体化电子地图框架
US6791563B2 (en) System, method and computer program product for global rendering
KR20160047316A (ko) 렌더링 장치 및 방법
US7289131B2 (en) Method of rendering a graphics image
KR20190048360A (ko) 영상 처리 방법 및 장치
EP0969415A2 (en) Display techniques for threedimensional virtual reality
Trapp et al. Strategies for visualising 3D points-of-interest on mobile devices
US6686915B2 (en) Systems and methods for rendering visual effects that are a function of depth
KR100429092B1 (ko) 그래픽영상처리방법및장치
EP2624117A2 (en) System and method providing a viewable three dimensional display cursor
Trapp et al. Strategies for visualizing points-of-interest of 3D virtual environments on mobile devices
CN114445579A (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
AU753413B2 (en) Display techniques for three-dimensional virtual reality
Maass et al. Use of depth cues for the annotation of 3d geo-virtual environments
Bruckner et al. The Inverse Warp: Non-Invasive Integration of Shear-Warp Volume Rendering into Polygon Rendering Pipelines.
FR2822274A1 (fr) Procede d&#39;affichage et de manipulation d&#39;un objet en trois dimensions et applications correspondantes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee