KR102076385B1 - 3d 이미지 데이터를 처리하기 위한 방법 및 장치 - Google Patents

3d 이미지 데이터를 처리하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102076385B1
KR102076385B1 KR1020157017003A KR20157017003A KR102076385B1 KR 102076385 B1 KR102076385 B1 KR 102076385B1 KR 1020157017003 A KR1020157017003 A KR 1020157017003A KR 20157017003 A KR20157017003 A KR 20157017003A KR 102076385 B1 KR102076385 B1 KR 102076385B1
Authority
KR
South Korea
Prior art keywords
image data
scene
image
scenes
processing
Prior art date
Application number
KR1020157017003A
Other languages
English (en)
Other versions
KR20150111910A (ko
Inventor
스벤 본 베우닌젠
티모 로테르바하
틸만 오크스
미카엘 슐트
Original Assignee
바이에리셰 모토렌 베르케 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이에리셰 모토렌 베르케 악티엔게젤샤프트 filed Critical 바이에리셰 모토렌 베르케 악티엔게젤샤프트
Publication of KR20150111910A publication Critical patent/KR20150111910A/ko
Application granted granted Critical
Publication of KR102076385B1 publication Critical patent/KR102076385B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37)에 이미지의 디스플레이를 위한 3D 입력 이미지 데이터를 처리하기 위해, 3D 입력 이미지 데이터는 할당된 3D 이미지 장면(19, 20, 21)에 따라 각각 한 장면씩 제공되고, 3D 입력 이미지 데이터는 관리 및 처리를 위해 각각 장면-처리 유닛(24)에 제공되고, 3D 입력 이미지 데이터는 장면-처리 유닛(24)에서 한 장면씩 처리되고, 이 경우 적어도 2개의 3D 이미지 장면(19, 20, 21)은 적어도 부분적으로 중첩되고, 3D 전체 장면(26)이 형성되어 관리되고, 3D 전체 장면(26)으로부터 다수의 3D 출력 장면(33, 34, 40)이 얻어지고, 상기 출력 장면에서 중첩은 각각 다양한 원근적 관찰 위치에 따라 이루어지고, 3D 출력 이미지 데이터가 생성되고, 3D 출력 이미지 데이터는 디스플레이 유닛(29, 32, 35, 36, 37)에 맞게 조정된 타깃 이미지 데이터의 생성을 위해 디스플레이 유닛(29, 32, 35, 36, 37)에 할당된 적어도 하나의 렌더링 유닛(27, 30, 38, 39)에 제공된다.

Description

3D 이미지 데이터를 처리하기 위한 방법 및 장치{METHOD AND DEVICE FOR PROCESSING 3D IMAGE DATA}
본 발명은 3D 이미지 데이터를 처리하기 위한 방법 및 장치에 관한 것이다. 본 발명은 특히 객체들이 소위 3D 이미지 데이터에 의해 3차원(3D) 표시로 묘사되는 시스템 및 방법에 관한 것이다.
예를 들어 차량 내에 마이크로프로세서 제어식 시스템이 제공되고, 상기 시스템에서 3D 이미지 데이터를 생성하는 어플리케이션이 구현된다. 또한 각각의 어플리케이션은 별도의, 소위 장면 모델을 구성하고, 상기 장면 모델은 3D 장면을 묘사한다. 디스플레이 유닛에 3D 장면을 표시하기 위해 소위 렌더러가 사용된다. 상기 시스템은 또한 마이크로 프로세서, 특히 컴퓨터에서 구현될 수 있다. 상기 시스템은 실질적으로, 디스플레이 유닛에 표시를 위해 3D 장면의 3D 이미지 데이터가 조정되도록 상기 데이터를 처리하기 위해 이용된다.
렌더링 프로세스 동안에 예를 들어 3D 장면으로부터 이미지의 계산이 이루어질 수 있다. 벡터 그래픽을 묘사하는 3D 이미지 데이터의 구성 시 렌더링 프로세스 동안에 예를 들어 객체의 화소 단위 픽셀 표시로 객체의 벡터 그래픽의 전환은 2차원(2D) 컴퓨터 그래픽으로 이루어질 수 있다.
3D 렌더러는 예를 들어 각각의 개별 3D 장면으로부터 별도의 2D 그래픽을 생성할 수 있다. 제어 구성 요소, 소위 레이어 매니저(Layer manager)를 이용해서 다양한 2D 그래픽의 중첩에 의해 디스플레이 유닛에 디스플레이를 위한 전체 이미지가 생성될 수 있다. 또한 개별 2D 이미지들은 정해진 시퀀스에 따라 층으로서 중첩된다. 이 경우 더 높은 층의 컨텐츠는 더 낮은 층의 컨텐츠를 오버랩할 수 있다. 최상층의 경우에 상기 층의 컨텐츠의 가시성이 보장될 수 있다.
층 기반의 이러한 아키텍처 또는 데이터 처리에 의해 3D 컨텐츠는 다양한 어플리케이션에 의해 공통의 디스플레이에 디스플레이될 수 있다. 또한 안전 관련 어플리케이션의 컨텐츠가 디스플레이에 표시되는 것, 즉 상기 컨텐츠가 안전과 관련 없는 다른 어플리케이션의 컨텐츠에 의해 오버랩 되지 않는 것이 보장될 수 있다.
도 1은 상응하는 이미지 처리 아키텍처를 도시한다. 이 경우 차량 내 다수의 제어장치 또는 디바이스에서 3개의 사용자 프로그램이 실행되고, 즉 차량 내 제어부에서 보행자 인식에 관한 사용자 프로그램(1), 차량 내에 설치된 멀티미디어 시스템에서 미디어 플레이어(2) 및 차량에서 일시적으로 접속되는 스마트폰에서 이메일 어플리케이션(3)이 실행된다. 어플리케이션 프로그램들은 각각의 이미지 데이터를 생성하고, 상기 이미지 데이터들은 3D 장면(4, 5 또는 6)을 묘사한다. 예를 들어 장면(4)에서 보행자 윤곽이 표시될 수 있고, 장면(5)에서 미디어 플레이어에 의해 생성된 사진이 표시될 수 있고, 장면(6)에서 이메일 목록이 표시될 수 있다. 장면 이미지 데이터는 관련 어플리케이션 프로그램에 할당된 렌더러(7, 8, 9)에서 2D 이미지로 변환된다. 또한 어플리케이션 프로그램(1, 2, 3)에 층들도 할당되고, 이 경우 이미지 데이터(10)는 최상층에 할당되고, 이미지 데이터(11)는 중간층에 할당되고, 이미지 데이터(12)는 최하층에 할당된다. 레이어 매니저 어플리케이션(13)은 각각의 이미지 데이터를 수신하고, 상기 이미지 데이터를 한 층씩 중첩시키고, 이 경우 최상층은 아래에 위치한 모든 다른 층들과 중첩한다. 이로 인해 2D 이미지(14)가 생성되고, 상기 이미지는 레이어 매니저(13)에 의해 출력된다.
각각의 3D 장면들을 별도로 렌더링하고, 추후에 한 층씩 중첩을 실행하는 상기 방법에서 바람직하지 않게, 상이한 3D 장면들의 2개의 요소 사이에 공간적으로 야기된 폐색 또는 반사 및 그림자와 같은 광학적 효과가 계산될 수 없다. 또한 예를 들어 차량에서 가끔 다수의 디스플레이 유닛에 의해 특정한 그래픽 컨텐츠를 분류하여 디스플레이하는 것, 예를 들어 제 1 그래픽 부분은 스티어링 휠 영역에 있는 메인 디스플레이 유닛에, 제 2 그래픽 부분은 중앙 콘솔 영역에 있는 정보 시스템에 그리고 제 3 그래픽 부분은 뒷좌석 영역에 있는 인포테인먼트 시스템에 디스플레이하는 것을 필요로 한다. 개별 그래픽 부분들은 이 경우 동시에 다수의 디스플레이 유닛에 디스플레이될 수도 있다. 전술한 층 기반 방법은 이러한 요구를 충분히 양호하게 충족할 수 없다.
US 7,145,562,B2호에 2차원 및 3차원 객체를 2차원 컴퓨터 그래픽으로 표시하기 위한 시스템이 공개되어 있고, 상기 시스템에서 2D 객체 및 3D 객체는 계층적으로 하나의 공통의 장면에 통합될 수 있다. 상기 간행물의 내용은 여기에서 상세한 설명에 참조에 의해 포함된다.
컴퓨터 그래픽을 표시하는 경우 완성된 이미지의 생성과 재현은 대개 동일한 디바이스에서 이루어진다. 디바이스 경계면을 거쳐서 그래픽 컨텐츠의 교환을 구현하기 위해, 그래픽 데이터들은 일반적으로 미리 정해진 포맷으로, 소위 비디오 스트림으로 전달된다. 비디오 스트림은 이 경우 인터페이스를 통해 원격 디바이스에 전달되고, 거기에서 부분 장면에 통합된다. 또한 바람직하지 않게, 원격 장면과 부분 장면들 사이의 상호 작용을 결정하고 타깃 그래픽에서 구현하는 것은 대부분 매우 복잡하게 구현된다. 예를 들어 전송된 비디오 스트림 내에 그림자를 드리우는 객체가 위치하고 상기 그림자가 부분 장면의 객체에서도 보이는 경우에, 한편으로는 2개의 디바이스 사이에서 추가 정보의 교환을 필요로 한다. 다른 한편으로 이는 타깃 그래픽의 생성 시 높은 계산 복잡성을 요구한다.
본 발명의 과제는 3D 입력 이미지 데이터에 기반하는 이미지들의 중첩을 고도로 정확하게 합리적인 계산 복잡도에 의해 가능하게 하는 것이다.
상기 과제는 독립 청구항에 제시된 본 발명에 의해 해결된다. 본 발명의 바람직한 실시예들은 종속 청구항에 제시된다.
본 발명에 따라 적어도 하나의 디스플레이 유닛에 이미지의 디스플레이를 위한 3D 입력 이미지 데이터를 처리하기 위해, 3D 입력 이미지 데이터는 할당된 3D 이미지 장면에 따라 각각 한 장면씩 제공된다. 3D 입력 이미지 데이터는 관리 및 처리를 위해 각각의 장면 처리 유닛에 제공되고, 3D 입력 이미지 데이터는 장면 처리 유닛에서 한 장면씩 처리된다. 이 경우 적어도 2개의 3D 이미지 장면은 적어도 부분적으로 중첩되고, 3D 전체 장면이 형성되어 관리되고, 3D 전체 장면으로부터 다수의 3D 출력 장면이 얻어지고, 상기 출력 장면에서 중첩은 각각 원근적 관찰 위치에 따라 이루어지고, 3D 출력 이미지 데이터가 생성된다. 3D 출력 이미지 데이터는 디스플레이 유닛에 맞게 조정된 타깃 이미지 데이터의 생성을 위해 디스플레이 유닛에 할당된 적어도 하나의 렌더링 유닛에 제공된다.
3D 입력 이미지 데이터는 3D 객체의 표시를 위한 전형값들, 특히 3D 좌표 데이터와 객체 속성을 포함한다. 3D 장면은 데이터 기술에 의해 특히 장면 트리 또는 장면 그래픽에 의해 구조화될 수 있다. 3D 입력 이미지 데이터는 특히 다수의 클라이언트 컴퓨터 시스템에 의해 제공될 수 있다. 클라이언트 컴퓨터 시스템, 장면 처리 유닛 및 렌더링 유닛은 마이크로프로세서 제어식 디바이스일 수 있고 및/또는 다른 디바이스에 로딩되어 실행되는 컴퓨터 프로그램-어플리케이션일 수 있다.
본 발명은, 3D 전체 장면의 형성이 다양한 3D 입력 이미지 데이터로부터 또는 상기 데이터에 할당된 3D 이미지 장면으로부터 3D 출력 이미지 데이터를 얻기 위해 간단한 동시에 정확한 처리를 가능하게 하는 사실에 근거한다. 본 발명은 또한, 바람직하게 3D 전체 장면으로부터 3D 이미지 장면의 중첩이 가능하다는 사실에 근거한다. 또한, 3D 전체 장면들의 중첩 시 관련 원근적 관찰 위치를 3D 출력 이미지 데이터의 생성에 포함시키는 것이 바람직한 것으로 밝혀졌다.
원근적 관찰 위치가 카메라 파라미터로서 중첩될 수 있고, 이 경우 카메라 파라미터로서 이미지 장면의 개방각 또는 이미지 장면에 대한 간격과 같은 일반적인 원근 파라미터가 사용될 수 있다. 카메라 파라미터로서 예를 들어,
- 변환 매트릭스가 제공될 수 있고, 상기 변환 매트릭스는 3D 공간에서 카메라의 위치와 방향을 나타내고, 예를 들어 카메라가 향하는 위치 및/또는 상대적 주시 방향 또는 지점을 나타낸다. 추가로 벡터가 제공될 수 있고, 상기 벡터는 선호 방향, 예를 들어 위를 향한 수직을 제시한다.
- 특히 수직 방향의 개방각이 제공될 수 있고,
- 예를 들어 16:9의 타깃 이미지의 종횡비가 제공될 수 있고,
- 소위 근거리 평면 파라미터가 제공될 수 있고, 상기 파라미터는 투영면과 카메라 위치 사이의 거리에 해당하고, 이 경우 상기 면 전방의 모든 요소들은 타깃 이미지에서 볼 수 없고,
- 소위 원거리 평면 파라미터가 제공될 수 있고, 상기 파라미터는 카메라 공간을 제한하는 면과 카메라 위치 사이의 거리에 해당하고, 이 경우 상기 면 후방의 모든 요소들은 타깃 이미지 내에서 볼 수 없다.
근거리 평면과 원거리 평면 파라미터들이 사용되면, 카메라는 근거리 평면과 원거리 평면 사이에 위치한 장면 요소만을 기록한다. 평면의 면들은 수직 개방각, 종횡비 및 근거리- 또는 원거리 평면의 관련 값으로 형성된다.
원근적 관찰 위치 또는 카메라 파라미터는 각각 적어도 하나의 디스플레이 유닛의 공간적인 위치, 방향 및/또는 그 밖의 파라미터에 해당할 수 있다. 디스플레이 유닛은 3D 이미지의 표시에 적합할 수 있다. 상기 디스플레이 유닛은 2D 이미지의 표시를 위해 형성될 수도 있다. 표시 방식에 따라 렌더링 유닛은 3D 출력 이미지 데이터를 3D 타깃 이미지 데이터로 또는 2D 타깃 이미지 데이터로 변환한다. 2D 타깃 이미지 데이터의 경우에 렌더링 유닛은 특히 래스터 처리기이다. 다수의 디스플레이 유닛이 제공될 수 있다. 다양한 디스플레이 유닛에 다양한 원근적 관찰 위치 또는 다양한 카메라 파라미터가 할당될 수 있다. 3D 전체 장면으로부터 3D 출력 장면을 얻기 위해 3D 이미지 장면들의 중첩이 각각 다양한 원근적 관찰 위치 또는 파라미터에 따라 이루어질 수 있다. 다수의 렌더링 유닛이 제공될 수도 있고, 상기 렌더링 유닛들에 각각 하나 이상의 디스플레이 유닛이 할당될 수 있다.
전체적으로 관리되는 3D 전체 장면에 의해 비디오 스트림의 전송이 절약될 수 있고, 그래픽 컨텐츠들이 다양한 디스플레이 유닛 사이에서 직접 교환될 수 있다. 추가 디스플레이 유닛의 통합은 훨씬 간단해진다. 또한 새로운 디스플레이 유닛을 다수의 디스플레이 유닛의 디스플레이 어셈블리 내에 배치하기 위해, 각각의 시스템 유닛에서 제어부의 작은 부분, 예를 들어 소프트웨어의 작은 부분을 조정하는 것으로 충분하다. 추가로 임의의 디바이스들이 새로운 그래픽 컨텐츠를 전체 장면에 제공하는 것이 가능하다. 디스플레이 유닛은 각각 상기 디스플레이 유닛에 물리적으로 고정 연결된 고유의 렌더링 유닛을 포함할 수 있다.
3D 입력 이미지 데이터에 적어도 2개의 우선 순위 수준들 중 각각 하나의 우선 순위 수준이 할당될 수 있고, 이 경우 우선 순위 수준은 해당 3D 이미지 장면이 다른 하나의 3D 이미지 장면과 중첩 시 어느 정도까지 보이게 남는지를 제시한다. 3D 출력 장면들은, 렌더링 유닛에서 타깃 이미지 데이터의 생성 시 타깃 이미지 좌표에서 더 높은 우선순위 수준의 3D 이미지 장면으로부터 얻어진 타깃 이미지 데이터가 더 낮은 우선순위 수준으로부터 얻어진 타깃 이미지 데이터와 중첩하도록 형성될 수 있다. 이로 인해 예를 들어, 안전 관련 이미지 요소들은 디스플레이 유닛에서 안전과 관련되지 않은 다른 이미지 요소들과 중첩하는 것, 즉 더 높은 안전성으로 표시되는 것이 달성될 수 있다. 예를 들어 차량에서, 선택된 기어의 레벨에 관한 안전 관련 표시가 디스플레이 유닛에서 네비게이션 데이터의 안전과 관련되지 않은 표시와 중첩하는 것이 보장될 수 있다. 우선 순위 수준의 할당은 하나의 3D 이미지씩, 장면 트리에서 및/또는 속성의 형태로 이루어질 수 있다. 추가로 안전 관련으로 특징되는 이미지 데이터를 특히 장면 관리 유닛에 및/또는 렌더링 유닛에 저장 시 메모리-쓰기 보호가 이루어질 수 있고, 이러한 보호에 의해 메모리의 의도치 않은 덮어 쓰기가 방지된다.
본 발명에 의해, 다양한 클라이언트 컴퓨터 시스템의 안전 관련 및 안전과 관련되지 않은 3D 컨텐츠를 함께 장면-처리 유닛에서 처리하는 것이 가능하고, 그로부터 혼합된 컨텐츠를 포함하는 3D 전체 장면을 형성하는 것이 가능하다. 또한 한편으로는 안전 관련 3D 컨텐츠가 할당된 속성에 의해 의도치 않은 조작 및 오버랩에 대해 보호될 수 있다. 다른 한편으로 이로 인해, 일관성 있는 3D 전체 장면이 3D 이미지 장면의 오버랩, 광학적 효과 및 3D 이미지 장면들 사이의 상호 작용을 고려하여 형성하는 것이 가능하다. 따라서 본 발명에 의해 특히 차량에서 이미지 처리를 위한 소위 혼합 임계용 시스템이 제안될 수 있다.
렌더링 유닛에 의해 디스플레이 유닛에 출력되는 안전 관련 표시에 관한 타깃 이미지 데이터가 거기에 정확하게 표시되는 것을 보장하기 위해, 2개의 유닛의 체크섬 비교에 의한 검사가 이루어질 수 있다.
본 발명의 바람직한 실시예에서 다수의 디스플레이 유닛들이 제공되고, 상기 디스플레이 유닛들에 각각의 렌더링 유닛이 할당된다. 장면 처리 유닛은 디스플레이 유닛을 위해 각각 상이한 3D 출력 이미지 데이터를 특히 부분 장면 또는 소위 서브 장면으로서 3D 전체 장면으로부터 생성할 수 있고, 3D 출력 이미지 데이터는 타깃 이미지 데이터의 생성을 위해 특히 하나의 서브 장면씩 하나 이상의 렌더링 유닛으로 분배될 수 있다. 다수의 렌더링 유닛으로 3D 출력 이미지 데이터의 분배는 또한 바람직하게, 하나의 디스플레이 유닛에 대한 특정한 이미지 데이터를 다수의 렌더링 유닛으로 분배하는 것을 가능하게 한다. 이러한 분배식 렌더링 프로세스에 의해 다른 한편으로 제 1 디스플레이 유닛의 부하를 덜 받는 렌더링 유닛이 많은 부하를 받는 렌더링 유닛을 가진 제 2 디스플레이 유닛의 3D 출력 이미지 데이터의 렌더링을 위해서도 이용될 수 있다. 이러한 장점은, 타깃 이미지 데이터가 예를 들어 기본적인 3D 출력 이미지 데이터와 할당된 원근 카메라 파라미터에 의해 각각의 디스플레이 유닛에 할당됨으로써 더 보강될 수 있다. 렌더링 유닛은 타깃 이미지 데이터를 각각 거기에 할당된 디스플레이 유닛으로 출력할 수 있다.
렌더링 프로세스를 위해 다수의 렌더링 유닛이 제공되면, 다수의 구성 및 장점들이 달성될 수 있다. 한편으로 렌더링 유닛의 고장 시 다른 렌더링 유닛이 렌더링 역할을 수행할 수 있는 소정의 고장 안정성이 제공된다. 다른 한편으로 추가의 렌더링 유닛이 제공되거나 약하게 부하를 받는 기존의 렌더링 유닛이 심하게 부하를 받는 다른 렌더링 유닛의 추가 렌더링 역할을 수행함으로써 렌더링 성능이 높아질 수 있는 확장성(scalability)이 제공된다. 또한 안전 적합성과 관련해서 렌더링 역할이 다양한 렌더링 유닛 사이에 분배될 수 있다. 예를 들어 하나의 렌더링 유닛은 다수의 렌더링 유닛의 어셈블리 내에서 안전 관련으로 특징되고 또는 최고 우선 순위 수준이 할당된 관련 3D 출력 이미지 데이터를 위해 지정될 수 있다. 상기 렌더링 유닛은 예를 들어 안전 관련 데이터를 위한 메모리-쓰기 방지를 포함할 수 있다.
렌더링 유닛과 장면 관리 유닛 사이에서 특히 양방향 상호 작용은, 렌더링 유닛이 원근적 관찰 위치에 관한 데이터를 장면 관리 유닛에 전송하고 반대로 장면 관리 유닛은 3D 출력 이미지 데이터를 렌더링 유닛에 전송하도록 이루어질 수 있다. 원근적 관찰 위치에 관한 데이터는 또한 디스플레이 유닛의 상응하는 데이터, 특히 디스플레이 유닛의 좌표 데이터를 포함할 수 있고 또는 이러한 것으로부터 얻어질 수 있다. 특히 다수의 디스플레이 유닛이 제공되면, 이로 인해 다양한 디스플레이 유닛에서 이미지 장면의 중첩하는 또는 연결된 표시들이 원근법에 따라 적절하게 이루어지는 것이 보장될 수 있다.
본 발명의 다른 바람직한 실시예에 따라 장면 처리 유닛은 3D 전체 이미지의 생성을 위해 상호 작용 파라미터를 이용하고, 상기 파라미터는 적어도 2개의 클라이언트 컴퓨터 시스템의 3D 이미지 요소들 사이의 상호 작용을 나타낸다. 이로 인해 예를 들어 클라이언트 컴퓨터 시스템의 3D 이미지 요소들의 오버랩이 계산될 수 있고, 디스플레이 유닛에서 적절하게 표시될 수 있다. 3D 이미지 요소들 사이의 반사 및 그림자와 같은 광학적 효과도 바람직하게 장면 처리 유닛에 의해 3D 전체 장면으로부터 계산될 수 있고, 추후에 디스플레이 유닛에 표시될 수 있다. 또한 상호 작용 파라미터로서 예를 들어 레이턴시(latency) 파라미터, 투과 파라미터 또는 3D 이미지 요소에 속성으로서 부여된 반사 계수들이 사용될 수 있거나 또는 조명 파라미터, 예를 들어 광도, 컬러 및 3D 이미지 장면에 할당된 또는 3D 이미지 장면에 3D 이미지 요소로서 제공된 광원의 광확산 방향이 사용될 수 있다. 예를 들어 표시될 점멸 신호등의 노란색 광에 의해 신호등 근처에서 표시될 수 있는 보행자 심볼의 이미지는 차량의 디스플레이 유닛에서 주기적으로 약간 노란색을 띨 수 있다. 3D 이미지 요소들이 예를 들어 1 ms 내지 50 ms의 적절한 다이내믹 시간 범위 내에 각각 다시 계산되고 또는 디스플레이 유닛에 표시되면, 3D 이미지 요소들 사이의 상호 작용이 이루어질 수 있다. 이로 인해 애니메이션이 이루어질 수도 있다.
렌더링 유닛에서 바람직하게 소위 지연 쉐이딩(deferred shading)이 이루어질 수 있고, 이러한 지연 쉐이딩에서 렌더링 프로세스는 단계적으로 이루어지고, 이 경우 프로세스는 미리 정해진 프로세스 단계에서 조기에 종료될 수 있고, 상기 프로세스 단계에서 디스플레이 유닛 내에 출력 가능한 타깃 이미지가 존재하고, 각각의 더 높은 프로세스 단계에서 점차적으로 개선된 이미지 품질이 달성된다.
렌더링 정확도를 모니터링하기 위해 또한, 3D 출력 이미지 데이터의 렌더링 중에 동시에 미리 정해진 기준 이미지가 렌더링되고, 특히 기준 패턴 및/또는 이미지 크기와 관련해서 3D 출력 이미지 데이터에 비해 훨씬 작은 미니 이미지가 렌더링된다. 기준 이미지의 렌더링 결과에 의해, 3D 출력 이미지 데이터의 렌더링 결과가 다른 처리를 위해 사용되는지 폐기되는지 여부가 결정될 수 있다. 미니- 또는 기준 이미지를 위해 특히 렌더링 데이터 세트가 이용될 수 있고, 상기 데이터 세트는 관련 렌더링 유닛에, 3D 이미지 장면 또는 거기에 할당된 파라미터에 맞게 조정된다. 예를 들어 이러한 미니 이미지는 각각 안전 관련 3D 이미지 요소 및/또는 3D 이미지 장면을 위해 제공될 수 있다. 상기 미니 이미지는 이미지 처리 관련 특성, 예를 들어 크기, 위치, 컬러, 복잡성 등에 대해서 각각의 3D 이미지 요소에 맞춰질 수 있다. 3D 이미지 장면에 다수의 미니 이미지들이 제공될 수 있다.
하기에서 본 발명의 다른 실시예들이 도면을 참고로 설명된다.
도 1은 선행기술에 따른 이미지 처리 아키텍처를 도시한 도면.
도 2는 본 발명에 따른 이미지 처리 아키텍처를 도시한 도면.
도 3은 이미지 처리 아키텍처의 세부사항을 도시한 도면.
도 4는 지연 쉐이딩 프로세스를 도시한 도면.
도 2에 도시된 이미지 처리 아키텍처(15)에서 클라이언트 컴퓨터 프로그램 어플리케이션(16, 17, 18)에 의해 생성된 3D 이미지 데이터들이 장면 매니저(장면 처리 유닛)(24)에 제공되고, 상기 장면 매니저는 상기 수신된 3D 입력 이미지 데이터를 세계 장면(26;world scene)에서 모아서 디스플레이 장치(디스플레이; 29, 32)에 이미지 장면을 최종 표시하기 위해 처리하여 3D 출력 이미지 데이터를 생성한다. 또한 3D 출력 이미지 데이터는 각각의 할당된 디스플레이 장면(33, 34)을 위해 장면 매니저(24)로부터 2개의 렌더러(27, 30)에 출력되고, 상기 렌더러들은 3D 출력 이미지 데이터로부터 디스플레이 특정의 타깃 이미지 데이터를 생성한다. 렌더러(27)는 디스플레이(29)를 위한 타깃 이미지 데이터를 생성한다. 렌더러(30)는 디스플레이(32)를 위한 타깃 이미지 데이터를 생성한다.
이러한 이미지 처리 시스템은 이 실시예에서 차량 내에 제공된다. 클라이언트 어플리케이션(16)은 네비게이션 시스템을 구현하고, 클라이언트 어플리케이션(17)은 예를 들어 선택된 기어의 검출과 같은 차량 특정의 기능을 구현한다. 클라이언트 어플리케이션(18)은 차량에 일시적으로 접속되는 모바일 통신 기기(스마트폰)에서 구현된다. 클라이언트 어플리케이션(16, 17, 18)은 각각의 할당된 3D 이미지 장면(클라이언트 장면; 19, 20, 21)을 위한 개별적인 각각의 3D 이미지 데이터를 생성한다. 추가로 클라이언트 어플리케이션(16, 17, 18)은 3D 이미지 장면에 할당된 각각의 파라미터를 생성한다. 안전 파라미터(22)는 다른 3D 이미지 장면과 중첩 시 해당 3D 이미지가 어느 정도까지 보이게 남는지 우선 순위 수준을 제시한다. 상호 작용 파라미터(23)는 어떤 방식으로 3D 이미지 장면의 3D 이미지 객체가 다른 3D 이미지 장면의 3D 이미지 객체와 상호 작용하는지를 나타낸다. 예를 들어 3D 이미지 객체의 반영 정도를 위한 상호 작용 파라미터(23)는, 객체에 다른 3D 이미지 객체가 어느 정도 반영되는지를 제시한다. 안전 파라미터(22)와 상호 작용 파라미터(23)는 각각의 클라이언트 어플리케이션(16, 17)에 의해 공통으로 또는 클라이언트 장면(19, 20, 21)에서 장면 매니저(24)로 전달될 수 있다. 상기 파라미터들은 세계 장면(26) 및 디스플레이 장면(33, 34)에 포함될 수도 있다.
3D 이미지 장면(19, 20, 21)을 위한 3D 이미지 데이터 및 파라미터(22, 23)는 이미지 처리를 위한 장면 매니저(24)에 제공된다. 상기 장면 매니저는 3D 이미지 데이터를 처리하기 위한 3D 프로세서(25)를 포함하고, 3D 이미지 장면에 의해 여기에서 세계 장면(26)이라고도 하는 3D 전체 장면을 생성한다. 다양한 3D 이미지 장면들(19, 20, 21)은 또한 서로 중첩될 수 있고, 이 경우 안전 파라미터(22)와 상호 작용 파라미터(23)가 사용되고 및/또는 또한 3D 이미지 장면(19, 20, 21)에 할당된다. 3D 프로세서(25)에서 안전 파라미터(22)의 사용 시, 안전 파라미터의 높은 값이 할당되는 3D 이미지 데이터, 예를 들어 다른 3D 이미지 데이터들이 중첩되고, 결과는 3D 프로세서(25)에 의해 관리되는 메모리에서 쓰기 방지에 의해 덮어 쓰기에 대해 보호된다. 어플리케이션은 상응하게 렌더러(27, 30) 내에서도 실행될 수 있다. 장면 매니저(24)는 또한 안전 파라미터(22)를 사용하는 액세스 규정들에 의해, 안전 관련 컨텐츠가 오류에 의해 덮어 쓰기될 수 없거나 변경될 수 없는 것을 보장하고, 안전 관련 장면 요소들이 렌더링 후에 관련 디스플레이(29, 32)에서 보일 수 있는 것을 보장한다. 3D 프로세서(25)는 종래의 중앙처리유닛(CPU)일 수 있고, 상기 유닛에서 3D 장면이 해당하는 어플리케이션에 의해 처리될 수 있거나, 예를 들어 그래픽 프로세서 또는 벡터 프로세서와 같은 3D 장면의 처리를 위한 전용 하드웨어 프로세서에 의해 처리될 수 있다.
클라이언트 어플리케이션(16, 17, 18)과 개별 프로세스들은 각각 그래픽 컨텐츠를 세계 장면(26)에 제공할 수 있고, 세계 장면(26) 내에 어떤 컨텐츠가 이미 제공되어 있는지를 질의할 수 있다. 장면 매니저(24)는 세계 장면(26)을 관리하고, 그로부터 관련 서브 장면을 얻고, 상기 장면 매니저는 상기 서브 장면을 렌더러(27, 30)에 분배한다. 세계 장면(26)과 서브 장면의 생성을 위해 장면 매니저(24)는 각각 디스플레이 특정의 데이터(28, 31)를 관련시키고, 상기 데이터는 차량 내 디스플레이(29, 32)의 각각의 장착 위치 및 원근감을 제시한다. 데이터(28, 31)는 장면 매니저(24)에 관련 렌더러(27, 30)로부터 파라미터로서 제공된다. 세계 장면(26)은 이로써 클라이언트 어플리케이션(16, 17, 18)에 의해 제공된 모든 3D 이미지 장면을 위한 그리고 모든 디스플레이(29, 32)의 포괄적인 고려를 위한 3D 전체 장면을 제공한다. 도 1의 실시예에서 디스플레이(29, 32)는 2D 디스플레이이다. 따라서 렌더러(27, 31)는 래스터 처리기의 종류에 따라 상기 렌더러에 도달하는 3D 출력 이미지 데이터를 렌더링하여 타깃 이미지 데이터를 생성한다.
도 3에 장면 매니저(24)와 본 발명에 따른 이미지 처리 시스템의 출력측 구성 요소들이 더 상세히 도시된다. 상기 시스템에 3개의 디스플레이(35, 36, 37)가 제공된다. 이 경우 2개의 디스플레이(35, 36)에는 하나의 렌더러(38)에 의해 타깃 이미지 데이터가 제공된다. 렌더러(39)는 디스플레이 장면(40)의 3D 출력 이미지 데이터로부터 디스플레이(37)만을 위한 타깃 이미지 데이터를 생성한다. 렌더러(38)는 2개의 디스플레이(35, 36)의 위치와 원근감에 대한 파라미터를 관리한다. 반대로, 하나의 디스플레이가 다수의 렌더러에 연결되는 것도 가능하고, 이 경우 각각의 렌더러는 디스플레이의 각각의 부분 이미지를 생성한다. 렌더러들의 어셈블리에서 하나 이상의 디스플레이를 위한 부분 이미지들을 렌더링하기 위한 역할들이 서로 세분될 수도 있다.
도 3에 3D 프로세서(25)에서 실행되고 예를 들어 클라이언트 어플리케이션(16, 17, 18) 또는 디스플레이(35, 36, 37)에 의해 생성되어 장면 매니저(24)에 보고되는 파라미터에 의해 제어되는 다양한 프로세스들도 도시된다. 프로세스(41)에서 안전 파라미터들이 처리되고, 안전 관련 컨텐츠를 최종적으로 관련 디스플레이에 나타내는 것이 보장된다. 무결성 보장 프로세스(42)에서, 특정한 이미지 컨텐츠가 최종적으로 관련 디스플레이에 표시되는 것이 보장된다. 또한 관련 이미지 컨텐츠를 위해 3D 프로세서 내에 체크섬이 형성될 수 있고, 상기 체크섬과 디스플레이의 상응하는 체크섬의 비교가 이루어질 수 있다. 레이턴시 보장 프로세스(43)에서, 이미지 객체가 미리 정해진 시간 내에 표시되는 것이 모니터링된다. 이는 특히 지연 쉐이딩에 의해 이루어질 수 있고, 이 경우 예를 들어 100 ms의 소정의 시간 경과 후에 렌더링 프로세스는 바로 다음으로 가능한 프로세스 단계에서 중단되고, 관련 이미지 객체는 즉시 디스플레이에 표시된다. 이러한 프로세스 제어를 위한 파라미터는 예를 들어 안전 파라미터(22)에 또는 상호 작용 파라미터(23)에 결합될 수 있다.
데이터 보호 관리를 위한 프로세스(44)에 의해, 특정한 3D 이미지 요소 및/또는 3D 이미지 장면들이 특정한 디스플레이에, 즉 특정한 디스플레이 영역에 또는 일반적으로 디스플레이되지 않는 것이 제어될 수 있다. 이러한 프로세스도 파라미터 제어식이다. 프로세스(45)에 의해 3D 프로세서에서 프로세스를 위한 오류 관리가 이루어진다. 로드 관리를 위한 프로세스(46)에 의해 프로세스 속도가 제어된다. 또한 예를 들어 렌더러(38, 39)로 3D 출력 이미지 데이터의 분배는, 렌더러들이 균일하게 부하를 받도록 제어될 수 있다.
도 4에 렌더러에서 이루어지는 지연 쉐이딩이 도시된다. 이 경우 타깃 이미지 데이터를 생성하기 위해, 3D 이미지 데이터들이 연속해서 프로세스 단계에서 처리된다. 프로세스 단계(PS1)에서 관련 3D 이미지 데이터의 컬러 데이터가 처리된다. 프로세스 단계(PS2)에서 3D 이미지 데이터의 깊이 데이터가 처리된다. 프로세스 단계(PS3)에서 이미지 객체의 표면에 대한 관련 법선이 처리된다. 프로세스 단계들(PS1, PS2 및 PS3)은 함께 하나의 방법 단계에서 실행될 수 있다. 컬러, 깊이 및 법선은 이 경우 상기 방법 단계의 결과이다.
프로세스 단계(PS4)에서 주어진 광원에 의존해서 필요 시 3D 이미지 데이터의 명도값들이(광) 처리된다. 프로세스 단계들(PS1 내지 PS4)은 질적으로 충분한 타깃 이미지를 생성하기 위해 필요하다. 후속하는 프로세스 단계(PS5)는, 주어진 이미지 처리 방법이 타깃 이미지의 생성에 의해 종료되기 전에(프로세스 단계 PS6), 객체들의 모서리 왜곡 처리(앤티에일리어싱;Anti-Aliasing)에 이용된다. 프로세스 단계(PS5)는 그러나 계산이 복잡하다. 따라서 지연 쉐이딩에서, 프로세스 단계(PS4) 후에 이미지 처리 프로세스를 중단할 수 있고, 대안 타깃 이미지의 생성에 의해 종료할 수 있고(프로세스 단계 PS7), 상기 타깃 이미지는 적어도 하나의 소정의 최소 정보 컨텐츠를 재현한다. 프로세스 단계(PS5)에 추가로 또는 후속해서 다른 선택적인 이미지 처리 단계들이 제공될 수 있다. 이때 선택적 단계들 사이에 다른 선택적 종료점이 제공될 수 있다.
전술한 디바이스 및 시스템 구성 요소들은 특히 컴퓨터 프로그램에 의해 제어되고, 이를 위해 컴퓨터의 공개된 다른 요소들 및 디지털 제어 수단들, 예컨대 마이크로프로세서, 휘발성 및 비휘발성 메모리, 인터페이스 등을 포함할 수 있다. 본 발명은 따라서 전체적으로 또는 부분적으로 컴퓨터 프로그램 제품의 형태로 구현될 수도 있고, 상기 컴퓨터 프로그램 제품은 컴퓨터에서 로드 및 실행 시 본 발명에 따른 과정을 완전히 또는 부분적으로 실행한다. 컴퓨터 프로그램 제품은 예를 들어 CD/DVD와 같은 데이터 캐리어 형태로 또는 하나 이상이 파일 형태로도 제공되고, 상기 서버로부터 컴퓨터 프로그램이 다운 로드될 수 있다.
15 이미지 처리 아키텍처
19, 20, 21 3D 이미지 장면
22 안전 파라미터
24 장면 매니저(장면 처리 유닛)
25 3D 프로세서
26 세계 장면(3D 전체 장면)
27, 30, 39, 39 렌더러
29, 32, 35, 36, 37 디스플레이
33, 34, 40 디스플레이 장면

Claims (20)

  1. 이미지를 적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37) 상에 디스플레이하기 위해 3D 입력 이미지 데이터를 처리하기 위한 방법으로서, 상기 3D 입력 이미지 데이터는 연관된 3D 이미지 장면(19,20,21)에 따라 각각 장면 단위로 제공되고, 상기 방법은
    장면 처리 유닛(24)에서 3D 입력 이미지 데이터를 각각 수신하여 관리 및 처리하는 단계,
    장면 처리 유닛(24)에서 3D 입력 이미지 데이터를 장면(19,20,21) 단위로 처리하여 복수의 3D 이미지 장면을 생성하는 단계,
    상기 복수의 3D 이미지 장면(19,20,21) 중 2개의 이미지 장면을 적어도 부분적으로 중첩시킴으로써 3D 전체 장면을 형성하고 3D 전체 장면(26)을 관리하는 단계,
    형성된 3D 전체 장면(26)으로부터 복수의 3D 출력 장면(33, 34, 40)을 도출하는 단계 - 3D 출력 장면(33, 34, 40)에서 각각 원근적 관찰 위치(perspective viewing location)에 따라 중첩이 발생되며, 이와 같은 중첩과정에서 3D 출력 이미지 데이터가 생성됨 - , 그리고
    3D 출력 이미지 데이터를 적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37)과 연관된 적어도 하나의 렌더링 유닛(27, 30, 38, 39)으로 제공하여, 적어도 하나의 디스플레이 유닛용 타깃 이미지 데이터를 생성하는 단계를 포함하고,
    3D 입력 이미지 데이터가 차량에서 클라이언트-컴퓨터 프로그램 애플리케이션(16, 17, 18)에 의해 생성되며, 적어도 2개의 우선순위 수준 중 하나가 각각 3D 입력 이미지 데이터와 연관되고,
    복수의 클라이언트-컴퓨터 프로그램 애플리케이션(16, 17, 18)이 차량에서 수행되며, 각각의 클라이언트-컴퓨터 프로그램 애플리케이션이 각각 연관된 3D 이미지 장면에 대한 개별 3D 입력 이미지 데이터 및 3D 이미지 장면과 각각 연관된 파라미터를 생성하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  2. 제1항에 있어서, 복수의 디스플레이 유닛이 제공되며, 각각의 디스플레이 유닛은 하나씩의 렌더링 유닛과 연관되며, 장면 처리 유닛은 디스플레이 유닛에 대해 각각 상이한 3D 출력 이미지 데이터를 생성하고 3D 출력 이미지 데이터가 하나 이상의 렌더링 유닛으로 분배되어 타깃 이미지 데이터를 생성하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  3. 제2항에 있어서, 타깃 이미지 데이터는 각각 하나씩의 디스플레이 유닛과 연관되며, 렌더링 유닛은 타깃 이미지 데이터를 이와 각각 연관된 디스플레이 유닛으로 출력하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  4. 제3항에 있어서, 적어도 하나의 디스플레이 유닛은 2D 이미지를 디스플레이하도록 구성되며, 렌더링 유닛은 래스터 처리기(raster processor)이고, 타깃 이미지 데이터가 2D 이미지 데이터인, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  5. 제1항에 있어서, 적어도 하나의 디스플레이 유닛은 2D 이미지를 디스플레이하도록 구성되며, 렌더링 유닛은 래스터 처리기이고, 타깃 이미지 데이터는 2D 이미지 데이터인, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  6. 제1항에 있어서, 상기 우선순위 수준은, 연관된 3D 이미지 장면이 다른 3D 이미지 장면과 중첩될 때 가시적인 정도를 가리키며, 렌더링 유닛에서 타깃 이미지 데이터가 생성될 때, 높은 우선 순위 수준의 3D 이미지 장면으로부터 도출된 타깃 이미지 데이터가 낮은 우선 순위 수준으로부터 도출된 타깃 이미지 데이터 상에 타깃 이미지 좌표에서 중첩되도록, 3D 출력 장면이 설정되는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  7. 제6항에 있어서, 상기 방법은 차량에서 수행되며, 우선 순위 수준 및 3D 출력 장면을 이용해서, 안전-관련 이미지 요소가 디스플레이 유닛 상의 안전-관련이 아닌 다른 이미지 요소 상에 중첩되는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  8. 제7항에 있어서, 원근적 관찰 위치는 디스플레이 유닛의 공간 위치에 해당하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  9. 제1항에 있어서, 원근적 관찰 위치는 디스플레이 유닛의 공간 위치에 해당하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  10. 제1항에 있어서, 장면 처리 유닛은, 3D 전체 장면을 형성하기 위해, 3D 입력 이미지 데이터를 제공하는 클라이언트-컴퓨터 시스템들 중 적어도 2개의 클라이언트-컴퓨터의 3D 이미지 요소들 간 상호작용을 기술하는 상호작용 파라미터를 이용하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  11. 제1항에 있어서, 렌더링 유닛에서 지연된 쉐이딩이 발생하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  12. 제1항에 있어서,
    지정 기준 이미지가 3D 출력 이미지 데이터의 렌더링과 동시에 렌더링되며, 기준 이미지의 렌더링 결과를 기초로, 3D 출력 이미지 데이터의 렌더링 결과가 추가 처리를 위해 사용될지 또는 폐기될지가 결정되는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  13. 삭제
  14. 삭제
  15. 제1항에 있어서, 클라이언트-컴퓨터 프로그램 애플리케이션에 의해 생성된 파라미터가 각각 연관된 3D 이미지 장면이 다른 3D 이미지 장면과 중첩될 때 가시적인 정도인 우선 순위 수준을 가리키는 안전 파라미터를 포함하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  16. 제15항에 있어서, 클라이언트-컴퓨터 프로그램 애플리케이션에 의해 생성된 파라미터는 3D 이미지 장면의 3D 이미지 객체가 다른 3D 이미지 장면의 3D 이미지 객체와 상호작용하는 방식을 기술하는 상호 작용 파라미터를 포함하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  17. 제16항에 있어서, 상호 작용 파라미터는 3D 이미지 객체의 반사율과, 다른 3D 이미지 객체가 3D 이미지 객체에 의해 얼마나 많이 반사되는지를 가리키는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  18. 제1항에 있어서, 클라이언트-컴퓨터 프로그램 애플리케이션에 의해 생성되는 파라미터는 3D 이미지 장면의 3D 이미지 객체가 상이한 3D 이미지 장면의 3D 이미지 객체와 상호 작용하는 방식을 기술하는 상호 작용 파라미터를 포함하는, 3D 입력 이미지 데이터를 처리하기 위한 방법.
  19. 이미지 처리 시스템으로서, 상기 시스템은
    적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37) 상에 이미지를 디스플레이하기 위해 3D 입력 이미지 데이터를 처리하기 위한 프로그램을 실행하도록 구성된 적어도 하나의 제어기를 포함하며, 3D 이미지 데이터가 연관된 3D 이미지 장면(19,20,21)에 따라 장면 단위로 제공되고, 상기 제어기는
    장면 처리 유닛(24)에서 3D 입력 이미지 데이터를 각각 수신하여 관리 및 처리하며,
    장면 처리 유닛(24)에서 3D 입력 이미지 데이터를 장면(19,20,21) 단위로 처리하여 복수의 3D 이미지 장면을 생성하고,
    상기 복수의 3D 이미지 장면(19,20,21) 중 2개의 이미지 장면을 적어도 부분적으로 중첩시킴으로써 3D 전체 장면을 형성하고 3D 전체 장면을 관리하며,
    형성된 3D 전체 장면(26)으로부터 복수의 3D 출력 장면(33, 34, 40)을 도출 - 3D 출력 장면(33, 34, 40)에서 각각 원근적 관찰 위치(perspective viewing location)에 따라 중첩이 발생되며, 이와 같은 중첩과정에서 3D 출력 이미지 데이터가 생성됨 - 하고, 그리고
    3D 출력 이미지 데이터를 적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37)과 연관된 적어도 하나의 렌더링 유닛(27, 30, 38, 39)으로 제공하여, 적어도 하나의 디스플레이 유닛용 타깃 이미지 데이터를 생성함으로써 프로그램을 실행하며,
    3D 입력 이미지 데이터가 차량에서 클라이언트-컴퓨터 프로그램 애플리케이션(16, 17, 18)에 의해 생성되며, 적어도 2개의 우선순위 수준 중 하나가 각각 3D 입력 이미지 데이터와 연관되고,
    복수의 클라이언트-컴퓨터 프로그램 애플리케이션(16, 17, 18)이 차량에서 수행되며, 각각의 클라이언트-컴퓨터 프로그램 애플리케이션이 각각 연관된 3D 이미지 장면에 대한 개별 3D 입력 이미지 데이터 및 3D 이미지 장면과 각각 연관된 파라미터를 생성하는, 이미지 처리 시스템.
  20. 차량으로서, 상기 차량은
    적어도 하나의 디스플레이 유닛, 이미지 처리 시스템을 포함하고, 상기 이미지 처리 시스템은
    적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37) 상에 이미지를 디스플레이하기 위해 3D 입력 이미지 데이터를 처리하기 위한 프로그램을 실행하도록 구성된 적어도 하나의 제어기를 포함하며, 3D 이미지 데이터가 연관된 3D 이미지 장면에 따라 장면 단위로 제공되고, 상기 제어기는
    장면 처리 유닛에서 3D 입력 이미지 데이터를 각각 수신하여 관리 및 처리하며,
    장면 처리 유닛(24)에서 3D 입력 이미지 데이터를 장면 단위로 처리하여 복수의 3D 이미지 장면을 생성하고,
    상기 복수의 3D 이미지 장면(19,20,21) 중 2개의 이미지 장면을 적어도 부분적으로 중첩시킴으로써 3D 전체 장면(26)을 형성하고 3D 전체 장면을 관리하며,
    형성된 3D 전체 장면(26)으로부터 복수의 3D 출력 장면(33, 34, 40)을 도출 - 33D 출력 장면(33, 34, 40)에서 각각 원근적 관찰 위치(perspective viewing location)에 따라 중첩이 발생되며, 이와 같은 중첩과정에서 3D 출력 이미지 데이터가 생성됨 - 하고, 그리고
    3D 출력 이미지 데이터를 적어도 하나의 디스플레이 유닛(29, 32, 35, 36, 37)과 연관된 적어도 하나의 렌더링 유닛(27, 30, 38, 39)으로 제공하여, 적어도 하나의 디스플레이 유닛용 타깃 이미지 데이터를 생성하고,
    3D 입력 이미지 데이터가 차량에서 클라이언트-컴퓨터 프로그램 애플리케이션(16, 17, 18)에 의해 생성되며, 적어도 2개의 우선순위 수준 중 하나가 각각 3D 입력 이미지 데이터와 연관되고,
    복수의 클라이언트-컴퓨터 프로그램 애플리케이션(16, 17, 18)이 차량에서 수행되며, 각각의 클라이언트-컴퓨터 프로그램 애플리케이션이 각각 연관된 3D 이미지 장면에 대한 개별 3D 입력 이미지 데이터 및 3D 이미지 장면과 각각 연관된 파라미터를 생성함으로써 프로그램을 실행하는, 차량.
KR1020157017003A 2013-01-29 2014-01-28 3d 이미지 데이터를 처리하기 위한 방법 및 장치 KR102076385B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013201377.9A DE102013201377A1 (de) 2013-01-29 2013-01-29 Verfahren und Vorrichtung zum Verarbeiten von 3d-Bilddaten
DE102013201377.9 2013-01-29
PCT/EP2014/051576 WO2014118145A1 (de) 2013-01-29 2014-01-28 Verfahren und vorrichtung zum verarbeiten von 3d-bilddaten

Publications (2)

Publication Number Publication Date
KR20150111910A KR20150111910A (ko) 2015-10-06
KR102076385B1 true KR102076385B1 (ko) 2020-02-11

Family

ID=50029031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157017003A KR102076385B1 (ko) 2013-01-29 2014-01-28 3d 이미지 데이터를 처리하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9767603B2 (ko)
EP (1) EP2951787B1 (ko)
JP (1) JP6362622B2 (ko)
KR (1) KR102076385B1 (ko)
CN (1) CN104956403B (ko)
DE (1) DE102013201377A1 (ko)
WO (1) WO2014118145A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2942103B1 (en) * 2014-05-05 2023-06-14 Nano Temper Technologies GmbH Thermophoresis measurements in nanoliter-droplets
DE102014214667A1 (de) 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
DE102014214666A1 (de) 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Hardwareunabhängiges Anzeigen von graphischen Effekten
DE102017207557B4 (de) 2017-05-05 2020-08-06 Audi Ag Verfahren zum Steuern einer Bedienvorrichtung eines Kraftfahrzeugs sowie Bedienvorrichtung und Kraftfahrzeug
GB2579111B (en) * 2019-05-30 2021-06-23 Imagination Tech Ltd Functional safety in graphics processing systems
CN113483898A (zh) * 2021-08-04 2021-10-08 国能大渡河瀑布沟发电有限公司 水利发电机组励磁系统运行温度智能监测与预警技术

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272928A (ja) * 1998-08-20 2004-09-30 Apple Computer Inc 進歩したディファード・シェーディング・グラフィクス・パイプライン・プロセッサ
JP2008213609A (ja) * 2007-03-01 2008-09-18 Fujitsu Ten Ltd 画像表示制御装置
JP2011233045A (ja) * 2010-04-28 2011-11-17 Denso Corp 送信装置、受信装置、表示装置、プログラム、通信システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09123848A (ja) * 1995-11-06 1997-05-13 Toyota Motor Corp 車両用情報表示装置
JPH09245196A (ja) * 1996-03-05 1997-09-19 Mitsubishi Electric Corp ３次元仮想世界共有装置
US6356297B1 (en) * 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
WO2000010372A2 (en) * 1998-08-20 2000-03-02 Apple Computer, Inc. System, apparatus and method for spatially sorting image data in a three-dimensional graphics pipeline
US7009626B2 (en) * 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US7113183B1 (en) * 2002-04-25 2006-09-26 Anark Corporation Methods and systems for real-time, interactive image composition
US7787658B2 (en) * 2004-03-12 2010-08-31 Koninklijke Philips Electronics N.V. Creating a depth map
US7145562B2 (en) 2004-05-03 2006-12-05 Microsoft Corporation Integration of three dimensional scene hierarchy into two dimensional compositing system
US7836086B2 (en) * 2006-06-09 2010-11-16 Pixar Layering and referencing of scene description
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
KR100848687B1 (ko) * 2007-01-05 2008-07-28 삼성전자주식회사 3차원 그래픽 처리 장치 및 그것의 동작 방법
WO2008109798A2 (en) * 2007-03-07 2008-09-12 Ideaflood, Inc. Multi-instance, multi-user animation platforms
US8319825B1 (en) * 2008-06-16 2012-11-27 Julian Urbach Re-utilization of render assets for video compression
US8471858B2 (en) * 2009-06-02 2013-06-25 Qualcomm Incorporated Displaying a visual representation of performance metrics for rendered graphics elements
US20110078801A1 (en) * 2009-09-29 2011-03-31 Rapidform, Inc. Utility computing with preview and pay feature
DE102009048834A1 (de) * 2009-10-09 2011-04-14 Volkswagen Ag Verfahren und Anzeigeeinrichtung zum Anzeigen von Informationen
US9524138B2 (en) * 2009-12-29 2016-12-20 Nvidia Corporation Load balancing in a system with multi-graphics processors and multi-display systems
CN102196300A (zh) * 2010-03-18 2011-09-21 国际商业机器公司 虚拟世界场景的图像的提供方法和设备及处理方法和设备
WO2012018497A2 (en) * 2010-07-25 2012-02-09 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
EP2469474B1 (en) * 2010-12-24 2020-02-12 Dassault Systèmes Creation of a playable scene with an authoring system
CN102413164B (zh) * 2011-08-31 2014-09-10 北京华电万通科技有限公司 一种基于Web的三维场景可视化编辑装置和方法
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272928A (ja) * 1998-08-20 2004-09-30 Apple Computer Inc 進歩したディファード・シェーディング・グラフィクス・パイプライン・プロセッサ
JP2008213609A (ja) * 2007-03-01 2008-09-18 Fujitsu Ten Ltd 画像表示制御装置
JP2011233045A (ja) * 2010-04-28 2011-11-17 Denso Corp 送信装置、受信装置、表示装置、プログラム、通信システム

Also Published As

Publication number Publication date
EP2951787B1 (de) 2019-12-18
EP2951787A1 (de) 2015-12-09
DE102013201377A1 (de) 2014-07-31
KR20150111910A (ko) 2015-10-06
US20150332499A1 (en) 2015-11-19
CN104956403B (zh) 2018-05-04
CN104956403A (zh) 2015-09-30
JP6362622B2 (ja) 2018-07-25
US9767603B2 (en) 2017-09-19
WO2014118145A1 (de) 2014-08-07
JP2016511869A (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
KR102076385B1 (ko) 3d 이미지 데이터를 처리하기 위한 방법 및 장치
CN116483200B (zh) 确定虚拟对象深度以及使虚拟内容翘曲的计算机实现方法
EP3332565B1 (en) Mixed reality social interaction
US9019273B2 (en) Sensor placement and analysis using a virtual environment
US9652892B2 (en) Mixed reality spotlight
US11244518B2 (en) Digital stages for presenting digital three-dimensional models
US7528831B2 (en) Generation of texture maps for use in 3D computer graphics
US20220343611A1 (en) Methods and systems for reprojection in augmented-reality displays
JP2023514796A (ja) 物理物体による拡張現実内の仮想物体のオクルージョン
US11097486B2 (en) System and method of 3D print modeling utilizing a point cloud representation and generating a voxel representation of the point cloud
US11032534B1 (en) Planar deviation based image reprojection
CN108154553A (zh) 一种三维模型与监控视频的无缝融合方法及装置
CN105306885B (zh) 显示器系统和用于在显示装置上描述三维图形信息的方法
CN112802170A (zh) 光照图像生成方法、装置、设备和介质
US10708597B2 (en) Techniques for extrapolating image frames
KR102107706B1 (ko) 영상 처리 방법 및 장치
KR20170091710A (ko) 디지털 비디오 렌더링
KR20140000170A (ko) 관여 매질에 의해 수광된 광의 양을 추정하기 위한 방법 및 대응하는 장치
US9672653B2 (en) Stereo viewpoint graphics processing subsystem and method of sharing geometry data between stereo images in screen-spaced processing
KR20100075351A (ko) 모바일용 컴퓨터 그래픽 랜더링 방법 및 시스템
CA2733527C (en) System having movie clip object controlling an external native application
TWI812548B (zh) 生成並排三維影像的方法及電腦裝置
US20240371107A1 (en) Dynamic Host Renderer For Artificial Reality Systems
CN118657876A (zh) 一种数字孪生体的展示方法、系统及相关设备
CN118115693A (zh) 生成并排三维影像的方法及电脑装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant