KR101929656B1 - 대상물의 다감각연계 표현을 위한 방법 및 표현 시스템 - Google Patents

Abstract

대상물의 다감각연계 표현을 위한 방법 및 표현 시스템.
본 발명은 적어도 이하의 단계에 의한 대상물(O)의 다감각연계 표현을 위한 방법에 관한 것이다:
먼저, 대상물(O)의 다차원 디지털 모델 데이터(D)가 제공된다. 대상물(O)의 다차원 디지털 모델 데이터(D)의 적어도 일부(SD')에 기초하여 실제 3차원 대상물 모델(M)이 생성된다. 그 위치가 후속하여 기록된다. 마지막으로, 대상물(O)의 다차원 디지털 모델 데이터(D)의 적어도 일부(DD, ID)가 대상물 모델(M)의 위치에 따라 AR 표시 장치(30)에 의해 표시된다. 또한, 적절한 표현 시스템(1)이 설명된다.

Description

대상물의 다감각연계 표현을 위한 방법 및 표현 시스템{METHOD FOR THE MULTISENSORY REPRESENTATION OF AN OBJECT AND A REPRESENTATION SYSTEM}

본 발명은 대상물의 다감각연계 표현을 위한 방법 및 이러한 목적에 적합한 표현 시스템에 관한 것이다.

실시간으로 컴퓨터-생성되는 대화형 완전 또는 부분 가상 환경에 있어서의 현실의 표현 및 동시 지각과 그 물리적인 특성은 가상 현실(VR) 또는 증강 현실(AR)로서 설명된다. 일반적으로, 현실의 시각적 구성요소가 주로 대체된다. 예를 들어, 증강 현실의 경우, 가상 대상물 또는 추가적인 가상 정보가 실제 환경에 중첩된다. 사용자는 표현된 가상 요소와 상호작용할 수 있는데, 예를 들어 가상 요소를 회전시키거나 가상 요소를 확대하거나 가상 요소를 축소할 수 있다. 이러한 목적을 위해, 사용자는 일반적으로 예를 들어 문헌 US 2013/0162673에 설명된 바와 같이 한 쌍의 AR 안경을 착용한다. 표현된 가상 대상물은 따라서 현실을 능가하는 소정 수준의 세부사항 및 정보를 가질 수 있지만 본질적으로 무형이다.

한편, 3D 프린터가 알려져 있다. 거의 모든 구조를 갖는 대상물이 이것에 의해 생성될 수 있다. 원론적으로, 다양한 재료가 이러한 목적을 위해 사용될 수 있다. 그러나, 대상물을 생성하기 위해 실제로 사용되는 재료의 수는 3D 프린터의 특성으로 인해 또는 재정적인 이유로 인해 몇 가지로 제한된다. 따라서, 현재는, 3D 프린터의 도움으로 실제 대상물의 모델을 예를 들어, 자연적인 착색으로 생성하는 것은 어렵거나 적어도 비경제적이다. 그들의 특성에 의해 실현가능한 모델은 정적이고 일반적으로 불투명하다. 그러므로, 일체화된 세부사항의 동적인 가변적 착색 및 가시적인 표현은 개별적으로 생성가능한 실제 모델의 자원으로는 어렵거나 현재 불가능하다.

그러므로, 본 발명의 목적은 대상물의 광학적 및 촉각적 지각이 가능한, 대상물의 표현을 위한 방법 및 이러한 목적을 위한 표현 시스템을 나타내는 것이다.

이 목적은 청구항 1에 청구된 바와 같은 대상물의 다감각연계 표현을 위한 방법 및 청구항 13에 청구된 바와 같은 표현 시스템에 의해 달성된다.

대상물의 다감각연계 표현을 위한 상술한 방법은 적어도 이하의 단계를 포함한다:

먼저, 대상물의 다차원 디지털 모델 데이터가 제공된다. 그 후, 대상물의 다차원 디지털 모델 데이터의 적어도 일부에 기초한 실제 3차원 대상물 모델이 생성된다. 후속 단계에서, 실제 3차원 대상물 모델의 위치가 검출된다. 마지막으로, 대상물의 다차원 디지털 모델 데이터의 적어도 일부가 표시된다. 표시는 대상물 모델의 위치에 따라 그리고 "AR 표시 장치"에 의해 이루어진다. AR 표시 장치는 AR 내용(증강 현실 내용)을 재현하거나 표시하도록 설계되는 장치를 의미하는 것으로 이해된다.

그러므로, 본 발명에 따른 방법은 다감각연계 표현, 즉 수개의 감각(시각, 촉각)으로 지각가능한 대상물의 출력을 제공한다. 표현될 대상물은 임의의 대상물일 수 있다. 그러나, 바람직하게는, 대상물은 접근이 어려운 대상물이며, 상기 방법의 상황에서는 이 대상물과 매우 자유롭게 상호작용하는 것이 유리하게 가능하다. 이하, 다차원 디지털 모델 데이터를 간단히 모델 데이터라고도 칭한다. 이것은 대상물의 디지털 모델(디지털 대상물 모델)을 나타낸다. 그러므로, 예를 들어 대상물을 표현하는 점 집단의 공간 좌표의 파일을 통해 대상물의 수치적인 설명이 가능하다. 그러므로, 디지털 모델은 예를 들어 대상물의 화소 래스터, 즉 3차원 화소 그래픽 또는 벡터 모델일 수 있으며, 여기서 적절한 알고리즘에 의해 개별 점으로부터 스케일러블(scalable) 선 및 면으로의 전이도 일어날 수 있다.

다차원 디지털 모델 데이터는 따라서 대상물의 개별적인 요소의 형상 및 배치를 설명하는 구조 데이터를 포함한다. 이들은 예를 들어 적어도 대상물의 표면을 구체화한다. 바람직하게는, 색상 데이터 및 대상물의 다른 특성에 관련되는 데이터 또한 구조 데이터와 특히 공간적으로 연관된다.

준비를 위해, 모델 데이터는 예를 들어 상기 방법을 시작하기 전에 적절히 저장될 수 있거나 예를 들어 CAD 소프트웨어(컴퓨터 보조 설계)에 의해 상기 방법을 위해 직접적으로 모델화될 수도 있다. 그러나, 또한 모델 데이터는 예를 들어 3D 카메라(입체 카메라, TOF 카메라 등)에 의해 기록된 대상물의 3차원 영상 데이터에 기초할 수 있다. "기초한다"란, 대응하는 데이터, 예를 들어 영상 데이터 및/또는 CAD 데이터가 한편으로는 모델 데이터를 포함하고, 다른 한편으로는 예를 들어 변형된 구조 데이터 등과 같은 모델 데이터로 마찬가지로 구성되는 다른 데이터가 그것으로부터 유도될 수도 있는 것을 의미한다. 그러므로, 다차원 디지털 모델 데이터는, 예를 들어 설계 데이터, 기능 데이터, 동적 데이터, 변형된 구조 데이터 등도 포함하는 균일한 전체적인 모델을 구성한다.

또한, 예를 들어 기초 모델 형태의 모델 데이터의 일부만이 상기 방법 전에 미리 저장될 수 있고, 모델 데이터의 다른 부분은 기초 모델의 조정을 위해 상기 방법 동안 생성될 수 있다.

대상물의 3차원 모델 데이터의 적어도 일부에 기초하여, 즉 특히 디지털 모델을 사용할 때, 실제 3차원 대상물 모델이 생성된다. 바람직하게 사용되는 3차원 모델 데이터의 일부는 대상물의 구조 데이터를 포함한다. 그러므로, 생성 시에, 대상물의 촉각적 또는 구조적 특성과 외부 형상이 가능한 현실적인 방식으로 재현된다.

생성된 실제 대상물 모델은 이제 조작자에 의해 의지대로 느껴지고, 회전되며, 위치결정될 수 있다. 처리에 있어서, 그 장소, 즉 위치 및 배향이 적절한 수단, 예를 들어 센서 또는 카메라를 사용하여 기록된다. 예를 들어, 실제 3차원 대상물 모델의 영상 데이터가 생성되고 그 후 디지털 모델과 비교되어 그 위에 기록된다.

예를 들어, 이 비교의 도움으로 의해, 대상물 모델의 위치에 따라 표시가 이루어진다. 모델 데이터의 일부가 대상물 모델에 가상으로 표시되고, 이 데이터는 실제 대상물 모델을 보충하거나 증강하는 것이 바람직하다. 이와 같이, 예를 들어 모델 데이터에 포함되기도 하는 색상 데이터가 실제 대상물 모델에 표시될 수 있다. 한편, 표시는 투명할 수 있어, 예를 들어 대상물 모델의 실제 그림자를 지각할 수 있으며, 다른 한편 대상물 모델은 불투명하게 중첩될 수도 있어, 대응하는 영상 영역이 선택적으로 잘려지고 가상 표현에 의해 완전히 덮힐 수 있다. 표시는 3차원인 것이 바람직한데, 즉, 이로 인해 모델 데이터로부터 생성된 3차원 영상 데이터가 실제 대상물 모델에 정확한 시각으로 표시되게 된다.

투영기의 시스템이 AR 표시 장치로서 사용될 수 있으며, 예를 들어 투영기는 상이한 방향으로부터 대상물 모델 상에 3차원 영상 데이터를 각각 투영한다. 대안적으로, AR 표시 장치는 전형적인 AR 안경 또는 AR 헤드셋의 형태로 설계될 수도 있다. 투영기에 의한 표시와 달리, 여기서 표시는 오직 조작자를 위한 것이며 또한 오직 그의 시각으로부터의 것이다. 3차원 대상물 모델 및 중첩된 가상 표시의 양자 모두는 따라서 동일한 모델 데이터 또는 동일한 디지털 모델에 간접적으로 또는 직접적으로 기초한다. 가상 표시는 실제 대상물 모델을 가능한 현실적인 표현으로 증강하기만 하는 것은 아니다. 또한, 가상 표시는 실제 대상물 모델 이외의 표시 정보를 또한 표시할 기회를 제공하며 따라서 현실 증강 표현을 가능하게도 한다.

대상물을 위한 상술한 표현 시스템은 대상물의 표현을 위한 본 발명에 따른 방법의 단계를 실행하도록 설계된다. 이러한 목적을 위해, 상기 시스템은 적어도 하나의 저장 장치, 제조 장치, 대상물 감지 유닛 및 AR 표시 장치를 갖는다.

본 발명에 따른 표현 시스템의 본질적인 구성요소, 특히 표시-산출 유닛은 대부분 소프트웨어 구성요소의 형태로 설계될 수 있다. 그러나, 원칙적으로, 이들 구성요소는, 특히 특별히 신속한 산출이 수반되는 경우, 소프트웨어 지원 하드웨어, 예를 들어 FPGA 등의 형태로 부분적으로 실현될 수 있도 있다. 마찬가지로, 필요한 인터페이스는, 예를 들어 다른 소프트웨어 구성요소로부터의 데이터의 전달이 수반되는 경우에만, 소프트웨어 인터페이스로서 설계될 수 있다. 그러나, 필요한 인터페이스는 적절한 소프트웨어에 의해 제어되는 하드웨어 기반 인터페이스로서 설계될 수도 있다.

대부분의 소프트웨어 기반 구현은, 지금까지 이미 사용된 구성요소가 모듈식으로 계속 사용될 수 있고 본 발명에 따른 방식으로 동작하도록 소프트웨어 갱신에 의해 간단히 업그레이드될 수도 있는 장점을 갖는다. 이러한 의미에서, 대상물은, 제시 장치에서 프로그램이 실행될 때 본 발명에 따른 방법의 단계를 모두 실행하기 위한 프로그램 부분을 갖는, 표현 시스템의 제시 장치의 저장 장치에 직접적으로 로딩될 수 있는 컴퓨터 프로그램을 갖는 대응하는 컴퓨터 프로그램 제품에 의해 달성된다. 컴퓨터 프로그램 이외에, 이러한 컴퓨터 프로그램 제품은 가능하게는 예를 들어 문서와 같은 추가적인 구성요소 및/또는 소프트웨어의 사용을 위한 하드웨어 키(동글(dongle) 등)와 같은 하드웨어 구성요소를 포함하는 추가적인 구성요소를 포함할 수도 있다.

제시 장치로의 운반 및/또는 제시 장치 상에의 또는 그 내부에서 저장을 위해, 제시 장치의 프로세서 유닛에 의해 판독가능하고 실행가능한 컴퓨터 프로그램의 프로그램 부분이 저장되는 컴퓨터 판독가능 매체, 예를 들어 메모리 스틱, 하드 디스크 또는 다른 운반가능 또는 통합형 데이터 운반체가 사용될 수 있다. 프로세서 유닛은 예를 들어 이러한 목적을 위한 1개 이상의 협력 마이크로프로세서 등을 가질 수 있다.

본 발명의 추가적으로 특별히 유리한 실시예 및 개선책은 종속 청구항 및 이하의 설명으로부터 명백해지며, 하나의 청구항 범주의 독립 청구항들은 다른 청구항 범주의 종속 청구항과 연계되어 개선될 수도 있으며, 특히 다양한 예시적인 실시예 또는 변형의 개별적인 특징은 새로운 예시적인 실시예 또는 변형을 형성하도록 조합될 수도 있다.

그러므로, 설명된 발명에 따른 방법은 대상물을 명확하게 제시하며 증강 현실로 제시된 정보에 의해 이해하기가 더 용이한 대상물을 포함하는 한층 복잡한 관계를 만들어낼 기회를 제공한다. 이러한 목적을 위해, 제시될 대상물은 현실적으로 접근가능하거나 존재할 필요는 전혀 없다. 오직 대상물의 모델 데이터를 제공하는 것이 가능하기만 하면 된다. 따라서, 상기 방법은 특히 신체 내부에서 발견되는 대상물의 표현에 적합하며, 다차원 디지털 모델 데이터는 신체 내부로부터의 데이터를 획득할 수 있는 바람직한 의료 영상화 방법의 도움으로 컴파일되는 대상물의 영상 데이터에 기초하는 것이 바람직하다.

신체는 일반적으로 대상물을 포함하는 더 큰 전체, 바람직하게는 환자의 신체를 지칭한다. 따라서, 대상물은 바람직하게는 환자의 내부 장기를 나타낸다. 영상화 방법은 대응하여 신체 내부로부터의 영상 데이터를 공급하는데, 즉 그것은 3차원 볼륨 데이터 집합으로서의 신체의 내부 구조를 형성한다. 이러한 영상화 방법의 예는 컴퓨터 단층촬영(CT), 자기 공명 단층촬영(MRT), 초음파 및 양전자 방출 단층촬영(PET)이다. 영상 데이터 집합은 또한 이들 방법의 조합을 사용하여 생성될 수 있다.

신체 내부의 대상물, 즉 바람직하게는 환자의 내부 장기를 신체를 손상시키지 않는 상태에서 명백하게 그리고 분명하게 나타낼 수 있다. 유형의 대상물 모델 및 가상 표시의 조합은, 예를 들어 외과의사가 침습 절차 전에 관련된 장기의 표현과 가능한 현실적으로 상호작용하고 그에 따라 개입을 계획할 수 있도록 한다.

다차원 디지털 모델 데이터는 소프트웨어에 의해, 특히 바람직하게는 CAD 프로그램에 의해 생성된 대상물의 3차원 영상 데이터에 기초하는 것이 바람직하다. 그러므로, 상술한 바와 같이, 요구된 세부사항 수준으로 대상물을 표현하는 가상 생성 영상 데이터이면 충분하기 때문에 본 발명에 따른 방법을 위해 실제로 존재하는 대상물이 요구되지 않는다.

특히 바람직하게는, 다차원 디지털 모델 데이터는 대상물 자체 내부로부터의 영상 데이터도 포함한다. 한편, 이 데이터는 실제 대상물 모델의 생성 동안 고려될 수 있으므로, 실제 대상물 모델은 피상적으로뿐만 아니라 내부적으로도 가능한 가장 정확한 구조를 갖는다. 다른 한편, 가상 표시와 함께 이 데이터는 관찰자의 시선이 대상물 모델의 표면 아래의 소정 깊이까지 침투하는 것을 허용한다. 따라서, 순전히 피상적인 표현과 달리, 표면 아래에 놓이는 구조가 예를 들어 수술을 계획하기 위해 표시되고 그리고/또는 고려될 수도 있다.

유리하게는, 다차원 디지털 모델 데이터는 기능 및/또는 동적 데이터를 포함할 수 있다. 동적 데이터는 시간 순으로, 예를 들어 고정된 순서로, 또는 가능한 경우 상호작용에 따라 변화한다. 기능 데이터는 대상물의 기능 및/또는 특성을 표현한다. 기능 및 동적 데이터 양자 모두는 일반적으로 실제 대상물 상에서 쉽게 보이지 않는다. 그러므로, 그것은 표시 동안 실제 지각의 가상 증강을 표현한다. 예를 들어, 유체 또는 가스 흐름이 실제 대상물 모델 상의 표시 상황에서 벡터 표시 및/또는 공간적 온도 분포 및 가색상의 그들의 시간 순으로서 시각화될 수 있다.

바람직하게는, 기능 및/또는 동적 데이터는 영상화 방법에 기초한다. 따라서, 예를 들어, 환자의 뇌파가 이른바 BOLD 대비(blood oxygen level dependent contrast:혈액 산소 수준 종속 대비)에 의해 기능적 MRI에 의해 기록될 수 있으며, 필요한 경우 환자의 뇌의 실제 대상물 모델 상에 시간 순으로 표시될 수도 있다. 이와 같이, 예를 들어 환자의 혈관 및/또는 심장의 혈류는 대응하는 실제 대상물 모델 상에 가상 표시로서 표현될 수도 있다.

바람직하게는, 기능 및/또는 동적 데이터는 모의시험에 기초한다. 예를 들어, 가상 모델이 적절한 소프트웨어에 의해 표시를 위한 대상물의 변수 또는 특성에 대해 생성된다. 예를 들어, 이른바 유한 요소법(Finite Element Method)(FEM)에 따른 모의시험에서, 대상물은 개별 요소로 분할되는 것으로 알려져 있으며, 이에 따라 미분 방정식 또는 미분 방정식 시스템이 규정된 프레임워크 조건 하에서 달성된다. 이러한 방법을 사용하여, 대상물의 구조 및 외부 프레임워크 조건을 고려하여 예를 들어, 온도, 재료 응력 등과 같은 변수의 공간적 및 필요한 경우 시간적 순서가 결정될 수 있다. 모의시험 방법의 추가적인 예는 BEM(Boundary Element Method), FDTD(Finite Difference Time Domain) 등이다. 결정된 변수는 그 후 예를 들어, 가색상 표현에 의해 대상물에 공간적으로 관련되는 표시 데이터로서 표시될 수 있다. 그러므로, 관찰자는 유리하게는 변수와 관련된 정보를 대상물 상에 직접적으로 기록할 수 있다.

그러므로, 특히 바람직하게는, 실제 3차원 대상물 모델의 상태가 또한 기록되며, 3차원 대상물의 다차원 디지털 모델 데이터가 실제 3차원 대상물 모델의 상태에 추가적으로 의존하여 표시된다. 실제 대상물 모델의 상태는 예를 들어 실제 현재 온도 같은 공간적인 특성을 설명한다. 그러나, 실제 대상물 모델이 변형되어 있는지, 즉 예를 들어 비틀려 있는지 여부를 상태로서 기록하는 것도 가능하다. 그러므로, 대상물 모델의 상태는 특히 외부 프레임워크 조건으로서의 상술한 FEM 모의시험에 대해 일부 영향을 줄 수 있다. 또한, 대상물 모델이 여전히 완전한지 여부, 또는 예를 들어 대상물 모델의 부분들이 관찰자에 의해 제거되었는지 여부를 실제 대상물 모델의 상태로서 기록할 수 있다. 그러므로, 다차원 디지털 모델 데이터는 일반적으로 실제 대상물 모델의 실제 상태로 조정된다.

바람직하게는, 실제 3차원 대상물 모델의 위치 및 필요한 경우에는 또한 상태는 표식에 기초하여 기록된다. 이들은 예를 들어 대상물 모델 상의 광학적 표시로서 및/또는 또한 해부학적 표식물 형태로 배치될 수 있다. 표식의 추가적인 예는 대상물 모델 안으로 도입될 수 있는 RFID 칩(Radio Frequency 식별자), LED 및/또는 예를 들어 자기 추적 또는 음향 추적 같은 비광학적 추적 방법을 위한 자원이다.

AR 표시 장치는 바람직하게는 다수의 투영기를 포함하거나 바람직하게는 그것으로 구성된다. 투영기는 사진과 같은 표면 상의 영상 데이터의 형태로 전송되는 영상을 투영하는 투영기를 의미하는 것으로 이해된다. 투영기는 이러한 목적을 위해 서로에 대해 관련하여 규정된 투영 방향으로 배치된다. 결과적으로, AR 표시는 특히 바람직하게는 실제 대상물 모델 상의 모든 측으로부터 이루어진다. 이것은 관찰자뿐만 아니라 방안의 모든 사람들이 각각의 관찰자를 위한 별도의 AR 표시 장치에 대한 필요 없이 실제 대상물 모델 상의 AR 표시를 지각할 수 있게 한다.

바람직하게는, 실제 3차원 대상물 모델은 3D 프린터 및/또는 CNC 기계의 도움으로 생성된다. 3D 프린터와 마찬가지로, CNC 기계는 또한 컴퓨터 지원형이며 수치 제어형이다(Computerized Numerical Control:컴퓨터 수치 제어). 상술한 바와 같이, 이들 생성 장치의 양자 모두는 디지털 모델에 기초하여, 예를 들어 본 다차원 디지털 모델 데이터에 기초하여 실제 3차원 대상물 모델의 상대적으로 간단하고 저렴한 생성을 위한 기회를 제공한다. 특히, 다른 기존의 기계를 사용하여 생성하기가 어렵거나 불가능한 복잡한 형상이 3D 프린터에 의해 유리하게 생성될 수 있다. 색상의 현실적인 표현이 이러한 방식으로 비용 효과적으로 달성하기가 용이하지 않은 상술한 본질적인 단점은 모델 데이터에 포함되는 색상 데이터의 가상 표시에 의해 본 발명에 따라 극복된다.

특히 바람직하게는, 실제 3차원 대상물 모델의 촉각 특성이 본질적으로 대상물의 촉각 특성에 대응하는 것이 보장된다. 이는 예를 들어 표면 구조, 강성 등과 같은 촉진(palpated)될 대상물의 특징이 대상물 모델을 생성할 때 가능한 현실적으로 재현되는 것을 의미한다. 따라서, 예를 들어, 대응하는 3D 프린팅 방법에서, 강성은 사용되는 중합체의 네트워킹(networking)의 정도에 의해 결정된다. 중합체의 네트워킹의 정도는 예를 들어 입사광의 강도에 의해 광반응적으로 제어된다. 이러한 방식으로 생성된 실제 대상물 모델은 본 발명에 따른 방법을 사용하여 촉각적으로 그리고 시각적으로 가능한 현실적으로 지각될 수 있을 뿐만 아니라 AR 표시에 의해 증강 현실로 관찰자를 위한 추가적인 정보를 표시할 수도 있다.

이하에서 본 발명을 예시적인 실시예에 의해 첨부된 도면을 참조하여 다시 더 상세하게 설명한다. 다양한 도면에서, 동일한 구성요소는 동일한 참조 번호를 갖는다. 도면은 일반적으로 축척대로 되어 있지 않다.

도 1은 대상물의 다감각연계 표현을 위한 본 발명에 따른 방법의 예시적인 실시예의 도식적 블록도를 도시한다.
도 2는 본 발명에 따른 표현 시스템의 예시적인 실시예의 대략적 도식적 블록도를 도시한다.
도 3은 도 2의 것과 유사하지만 AR 표시 장치의 대안적인 실시예를 갖는 표현 시스템을 도시한다.
도 4는 AR 표시 장치의 추가적인 예시적 실시예의 대략적 도식적 도면을 도시한다.

도 1은 일례로서 8개의 단계에 의한 본 발명에 따른 방법의 블록도를 도시한다. 장치 특정 참조 부호에 대해서는, 더 상세하게 후속하여 설명되는 도 2를 참조한다. 제1 단계(I)에서, 환자의 신체(K)의 심장(O)의 영상 데이터(BD)가 MRI 스캐너(2)에 의해 대상물(O)로서 기록된다. 영상 데이터(BD)는 심장의 구조 데이터 및 동적 가변 데이터의 양자 모두뿐만 아니라 심장을 통해 흐르는 혈액의 흐름 데이터를 포함한다. 또한, ECG 신호 같은 시각화될 수 있는 생리학적 데이터가 기록된다.

이 데이터에 기초하여 그리고 예를 들어 심장에 대한 일반적인 색상 체계로서의 색상 데이터 같은 추가적인 저장 데이터를 고려하여, 제2 단계(II)에서, 심장(O)의 개별적 균일 디지털 모델 및 그 동적 특성이 생성된다. 디지털 모델은 이 경우에서와 같이 측정값에 기초하여 생성될 수 있다. 대안적으로, 디지털 모델은 추가적으로 또는 단독으로 CAD 소프트웨어에 의해 생성되는 가상 모델에 기초할 수 있다. 디지털 모델은 여기서는 복셀 기반이며, 각각의 복셀(볼륨 화소)이 데카르트 좌표계(x, y, z)에 할당되며 거기에 공간적으로 할당된 데이터에 연계된다. 디지털 모델은 다차원 디지털 모델 데이터(D)의 형태로 저장 장치(12)에 모두 함께 유지된다.

제3 단계(III)에서, 심장(O)의 AR 호환가능 표현 및 그 특성이 다차원 디지털 모델 데이터(D)에 기초하여 생성된다. 제4 단계(IV)에서, 심장(O)의 실제 대상물 모델로서의 심장의 실제 모델(M)을 생성하는데 적합한 파일 형식(STP, VRML, 3MF, CNC)으로 심장(O)의 다차원 디지털 모델 데이터(D)로부터 3D 프린터(3)에 의해 구성 데이터(KD)가 생성된다. 후속하는 제5 단계(V)에서, 심장의 모델(M)이 3D 프린터에 의해 생성된다. 단계 III는 단계 IV 및 V와 병렬로 실행될 수 있다.

이러한 방식으로 생성된 심장의 모델(M)은 이제 제6 단계(VI)에서 관찰자(B)에 의해 검토되고 조작될 수 있다. 관찰자(B)는 필요에 따라 심장의 모델(M)을 회전시키고, 위치결정하고, 바람직하게는 또한 변형시키고, 예를 들어 비틀고, 가압시키는 등을 할 수 있으며, 실제로 그것에 대해 침습적 개입을 실행할 수 있다. 병행하여, 증강 현실로 심장의 실제 모델(M)을 표현하는 다차원 디지털 모델 데이터(D)에 기초한 추가적인 이른바 AR 요소가 AR 표시 장치(30)로서의 AR 헤드셋(30)에 의해 중첩된다. 미리규정된 또는 현재 규정되는 설정에 따라 또는 관찰자(B)의 재량으로, 이들 요소는 조정가능한 투명도로, 즉 심장의 모델(M) 상에 부분적으로 내지 완전히 중첩되어 표시될 수 있다. 따라서, 심장의 모델(M)은 본질적으로 오직 터치 감각에 의해 실제로 검출되도록 완전히 가상적으로 광학적으로 지각될 수 있다.

상기 설정에 따라 또는 관찰자(B)의 재량으로, 제공된 다차원 디지털 모델 데이터(D)의 모든 부분은 필요한 경우 조합되어 AR 요소로서 표시될 수도 있다. 따라서, 예를 들어, 현실적인 색상이 소정 투명도를 갖는 것과 동시에 심장의 모델(M)의 표면 상에 표시될 수 있으며, 한편 심장의 심실에 있어서의 예상 혈액 유량이 시각화된다. 특히, 가상으로 심장의 모델(M)의 실제 영역을 숨기는 것, 즉 심장의 모델(M)에 가상 절개부를 제시하는 것도 가능하다. 온도 및/또는 유량 같은 다른 변수의 시간순 추이도 심장의 모델(M)을 증강시키기 위해 필름처럼 제시될 수 있다. 표시는 이러한 목적을 위해 별개의 간격(프레임)으로 자동적으로 갱신되지만, 이들은 관찰자(B)에 의해 연속적인 영상 연속물로서 지각된다.

상술한 바와 같이, 관찰자(B)는 심장 모델(M)의 위치 및 필요한 경우에는 그 상태에도 영향을 주며, 이렇게 함에 있어서 심장 모델(M)의 위치 또는 그 자신의 시각을 변경하기도 한다. 표시에 관련되는 이들 변화는 제7 단계(VII)에서 기록된다. AR 헤드셋은 이러한 목적을 위해 심장 모델(M)의 시각적인 데이터(VD) 형태로 영상 데이터를 기록하는 비디오 카메라(31, 32)를 갖는다. 심장 모델(M)은 또한 이러한 목적을 위해 단계 IV에서 이미 고려되고 단계 V에서 생성 또는 채용되는 표식을 갖는다.

심장 모델(M)의 위치 또는 상태의 변화의 검출을 위해, 제7 단계(VII)는 4개의 하위 단계(VII.1, VII.2, VII.3, VII.4)를 갖는다. 제1 하위 단계(VII.1)에서, 위치의 변화, 즉 공간적인 기준 시스템에 관한 이전 위치 및 배향으로부터의 편차가 검토된다. 결과가 부정(N)인 경우, 즉 변화가 검출되지 않은 경우, 제2 하위 단계(VII.2)가 시작되며, 여기서 관찰자(B)의 시각의 변화가 검토된다. 관찰자의 시각을 기록하기 위해서, AR 헤드셋(30)은 예를 들어 공간적인 기준 시스템에 있어서의 관찰자(B)의 시선을 기록하기 위한 자원, 예를 들어 표식을 갖는다. 결과가 부정(N)인 경우, 즉 여기에서도 변화가 검출되지 않은 경우, 제3 하위 단계(VII.3)가 시작되며, 필름처럼 보여지는 AR 요소의 새로운 프레임이 표시되어야 하는지 여부를 검토한다. 결과가 부정(N)인 경우, 즉 갱신이 필요하지 않은 경우, 방법은 이하에서 설명되는 하위 단계(VII.4)로 계속된다.

단계 VII.1 내지 VII.3 중 하나의 결과가 긍정(Y)인 경우, 즉 대응하는 변화가 기록되지 않은 경우, 방법은 제8 단계(VIII)로 계속된다. 따라서, 이 경우에는 다른 하위 단계가 이용되지 않지만, 표시의 갱신을 위한 대응하는 변화가 기록된다. 제8 단계(VIII)에서, 표시될 AR 요소가 기록된 변화에 기초하여 그에 따라 산출되며 새로워진다. 갱신된 AR 요소는 제6 단계(VI)의 재상영에서 표시되며, 여기서 관찰자(B)는 심장의 모델(M)의 추가적인 조작을 착수할 수 있다.

최종 제4 하위 단계(VII.4)는 표현을 위한 방법이 종료되어야 하는지 여부를 검토한다. 예를 들어, 관찰자에 의한 입력의 결과로서 이 결정이 이루어질 수 있다. 결과가 부정(N)인 경우, 제8 단계(VIII)의 AR 요소가 다시 제공될 때까지, 하위 단계 VII.1 내지 VII.4가 반복된다. 결과가 긍정인 경우, 방법이 종료된다.

예로서, 도 2는, 도표로 도시한 것처럼 관찰자(B)와 상호작용하는 본 발명에 다른 표현 시스템(1)의 대략적 도식적 블록도를 도시한다. 표현 시스템(1)은, 중앙 표현 장치(10), 및 주변 구성요소로서 의료 영상화 양식으로서의 MRI 장치(2), 제조 장치(3)로서의 3D 프린터(3) 및 AR 표시 장치(30)로서의 AR 헤드셋(30)을 포함한다.

MRI 장치(2)는 환자의 신체(K)로부터의, 특히 대상물(O)로서의 환자의 심장(O)으로부터의 원 데이터(RD)를 필요로 한다. 원 데이터(RD)는 원 데이터 인터페이스(21)를 통해 표현 장치(10)의 재구성 장치(11)에 전송된다. 재구성 장치(11)는 원 데이터(RD)로부터 영상 데이터(BD)를 재구성하며 그것을 저장 장치(12)에 저장한다. 빈번히, 재구성 장치(11)는 또한 표현 장치(10)가 적절한 인터페이스를 통해 직접적인 영상 데이터(BD)를 수신하도록 MRI 장치(2)에 할당된다. 영상 데이터(BD)에 추가되는 대상물(O)을 위한 색상 체계 및/또는 순응가능 기초 모델 같은 추가적인 데이터가 저장 장치(12)에 유지되는 것이 바람직하다. 전반적으로, 표현을 위한 대상물로서의 심장(O)의 균일한 디지털 모델이 따라서 영상 데이터(BD)로부터 생성된다. 디지털 모델은 다차원 디지털 모델 데이터(D)의 형태로 저장 장치(12)에 저장된다. 다차원 디지털 모델 데이터(D) 중, 서로에 대한 개별 조직 성분의 공간적인 배치뿐만 아니라 그들의 상세한 내부 구조 및 특성을 생성하는 심장(O)의 기능 데이터(FD) 및 구조 데이터(SD, SD', SD'')가 포함된다.

대상물 모델(M)의 생성을 위해 변형된 일련의 구조 데이터(SD')는 구성 명세 유닛(13)에 전송된다. 변형된 구조 데이터(SD')는 후속 생성 동안 생성되기도 하는 표식에 관한 추가적인 정보를 포함한다. 구성 명세 유닛(13)은 3D 프린터(3)를 위한 적절한 형식으로 구조 데이터(SD')를 구성 데이터(KD)로 변환한다. 구성 데이터(KD)는 생성 인터페이스(22)를 통해 3D 프린터에 전송된다. 구성 데이터(KD)에 따르면, 3D 프린터는 이후 심장의 모델(M)로 지칭되는 심장의 실제 3D 모델을 생성한다.

심장의 모델(M)은 형상 및 구조(적용가능한 경우, 추가적인 표식을 제외)에 관한 환자의 심장(O)의 현실적인 재현물이다. 따라서, 그것은 도 1에서 설명된 절차적 단계(VI)에 기초하여 관찰자(B)에 의해 의지대로 관찰 및 조작될 수 있다. 조작 동안, 심장 모델(M)의 위치 및 배향은 적절한 센서를 사용하여 모델 데이터(MD)로서 기록된다. 광학적 표식의 경우에, 카메라, 예를 들어 후속하여 설명되는 CCD 센서(32)는 AR 헤드셋(30)의 렌즈(31)와 함께 RFID 칩, 대응하는 판독 장치 등의 경우에 기록을 위해 사용된다. 기록된 모델 데이터(MD)는 모델 취득 인터페이스(23)를 통해 모델 취득 유닛(16)에 전송된다. 이것은 공간적인 기준 시스템의 상황에서 모델 데이터(MD)를 평가하며 그것으로부터 심장의 모델(M)의 위치 및 배향에 관한 위치 데이터(LD)를 결정한다. 또한, 예를 들어 심장의 모델(M)의 온도, 변형 등 같은 특성에 관한 상태 데이터(ZD)가 온도 및/또는 다른 적절한 센서에 의해 기록된다.

저장 장치(12)로부터, 불변 데이터(ID)의 표시를 위한 변형된 구조 데이터(SD'')가 구조 명세 유닛(15)에 전송된다. 구조적인 정보 이외에, 변형된 구조 데이터(SD'')는 예를 들어 심장의 모델(M)을 위한 색상 체계 같은 시간에 걸친 조작에 따라 변화하지 않는 추가적인 데이터를 포함한다. 구조 명세 유닛(15)은 변형된 구조 데이터(SD'')를 AR 표시에 적합한 형식을 갖는 불변 데이터(ID)로 변환하고 이것을 표시 산출 유닛(18)에 전송한다.

저장 장치(12)는 또한 구조 데이터(SD) 및 기능 데이터(FD)를 동적 명세 유닛(14)에 전송한다. 이것은, 구조 데이터(SD) 및 기능 데이터를 조합하고, 상태 데이터(ZD)를 사용하여 동적 데이터(DD)를 AR 표시에 적합한 형식으로 산출하며 이것을 표시 산출 유닛(18)에 전송한다. 그러므로, 동적 데이터(DD)는 예를 들어 현재 온도, 변형 하의 재료 응력 및 흐름 표현 등의 AR 표시를 허용한다.

또한, AR 헤드셋(30)의 위치 및 배향이 기록된다. 이 기록은 모델 데이터(MD)의 기록을 위한 것과 동일한 센서를 사용하여 이루어질 수 있다. 이들은 또한 대응하는 데이터를 AR 기록 인터페이스(24)를 통해 시각 기록 유닛(17)에 보낸다. 공간적인 기준 시스템을 사용하는 것과 마찬가지로, 그것은 관찰자(B)의 시각을 결정하고 대응하는 시각 데이터(perspective data)(PD)를 표시 산출 유닛(18)에 보낸다.

표시 산출 유닛(18)은 AR 영상 인터페이스(25)에 의한 관찰자의 시각 및 입력 인터페이스(26)에 의한 관찰자(B)의 수동적인 입력(E)으로부터 AR 헤드셋(30)으로부터 시각적인 데이터(VD)를 수신한다. 시각적인 데이터(VD), 불변 데이터(ID), 동적 데이터(DD), 위치 데이터(LD) 및 시각 데이터(PD)를 사용하여, 표시 산출 유닛(18)은 미리규정된 설정 또는 관찰자(B)의 수동 입력(E)에 따라 표시 데이터(AD)를 산출한다. 그러므로, 표시 데이터(AD)는 가상 AR 요소가 표현 장치(10)에 의해 추가된 심장의 모델(M)의 관찰자(B)의 시각으로부터의 관찰을 반영한다. 표시 데이터(AD)는 AR 영상 인터페이스(25)에 의해 AR 헤드셋(30)에 전송된다.

AR 헤드셋(30)은 표시 데이터(AD)의 수신 및 시각적인 데이터(VD)의 전송을 위한 표시 인터페이스(33)를 갖는다. 시각적인 데이터(VD)는 카메라 배치(31, 32)에 의해 기록된다. 카메라 배치는 관찰자(B)의 시각으로부터의 심장의 모델(M)을 CCD 센서(32) 상에 나타내는 광학 영상화 시스템으로서 렌즈(31)를 포함한다. CCD 센서(32)는 표시 인터페이스(33)에 연결되고, 그것에 표시된 영상을 시각적인 데이터(VD)로 변환하며, 이것을 표시 인터페이스(33)에 의해 표현 장치(10)에 전송한다. 시각적인 데이터(VD)는 또한 모델 데이터(MD)와 동시에 사용될 수 있으며 따라서 또한 모델 취득 인터페이스(23)에 전송될 수 있다. 표시 데이터(AD)는 표시 데이터를 영상으로서 변환 및 표시하는 디스플레이(34)에 표시 인터페이스(33)에 의해 전송된다. AR 요소에 의해 증강된 심장의 모델(M)의 영상은 광학 시스템(35)에 의해 투영면(36)에 맵핑되고 거기에서 관찰자(B)에 의한 시각적인 지각(W)을 위해 가시화된다.

도 3은 도 2의 것과 유사하지만 AR 헤드셋(30')의 대안적인 실시예를 갖는 표현 시스템(1)을 도시한다. 표현 시스템(1)의 다른 구성요소, 특히 표현 장치(10)는 변화되지 않은 상태로 유지된다. 변형된 AR 헤드셋(30')의 경우, AR 헤드셋(30')의 광학 축(A) 상의 선택적인 화소-바이-화소(pixel-by-pixel) 셔터(37)가 렌즈(31) 뒤에 도입된다. 표시 데이터(AD)에 기초하여, 셔터(37)는 이들 영역에서 불투명해짐으로써 AR 요소에 의해 대체될 영상 영역을 가린다. 광학 축(A)에 대한 45° 각도에서, 반투명 반사기(38)가 심장 모델(M)로부터 보여지는 광학 축(A) 상의 셔터(37) 뒤에 배치된다. 이것은 가려진 영역을 갖는 영상이 반투명 반사기(38) 뒤에서 광학 축(A) 상에 배치된 광학 시스템(35)에 도달하게 한다. 광학 축(A)에 대해 수직으로 그리고 반투명 반사기에 대해 45° 각도로, 디스플레이(34')는 그 위에 나타낸 영상이 반투명 반사기(38)로부터 광학 시스템(35) 상에 투영되도록 배치된다. 표시 데이터(AD)에 기초하여, 디스플레이(34')는 이제 AR 요소에 의해 증강된 완전한 영상이 재현되도록, AR 요소와 함께 셔터(37)에 의해 선택적으로 가려진 심장의 모델(M)의 그 영역을 정확하게 증강한다. 이것은 관찰자(B)에 의한 시각적인 지각(W)을 위해 광학 시스템(35)에 의해 투영면(36) 상에 맵핑된다.

예로서 그리고 도식적으로, 도 4는 4개의 투영기(39)를 갖는 AR 표시 장치(30'')의 대안적인 예시적 실시예를 도시한다. 투영기(39)는 그들이 공유된 투영 중심과 함께 규정된 투영 방향을 갖도록 공간 내에서 서로에 대해 관련되어 배치된다. AR 요소가 투영기(39)로부터 투영되는 심장 모델(M)이 투영 중심 내에 있다. 투영기(39)는, 본 발명에 따른 표시 장치(10)(여기서는 도시되지 않음)에 의해 전송되는 표시 데이터(AD)에 따른 조합된 공유된 투영이 심장 모델(M)의 모든 표면 상에서 이루어지도록 배치된다. 심장의 모델(M) 및 표시된 AR 요소는 따라서 1명 이상의 관찰자(B)에 의해 유리하게 조작될 수 있고 시각적인 지각(W)에 의해 검출될 수 있다. 상술한 바와 같이, 공간 내의 심장의 모델(M)의 위치 및 배향은 예를 들어 적절한 카메라 및 그로부터 유도된 위치 데이터(LD)에 의해 모델 데이터(MD)로서 기록된다. 위치 데이터(LD)를 사용하여, 투영기의 투영 영역에서의 투영기(39)의 투영 영상은 심장의 모델(M)의 위치 및 배향으로 조정된다. 필요한 경우, 투영기(39)는 또한 그들이 그들의 투영 영역과 함께 심장의 모델(M)의 위치를 추적하도록 모터 정렬되기도 한다.

마지막으로, 앞에서 상세하게 설명된 장치 및 방법은 본 발명의 범위 내에서 다양한 방식으로 통상의 기술자에 의해 변형될 수 있는 단지 예시적인 실시예라는 것을 다시 한번 언급한다. 특히, 심장의 영상 데이터뿐만 아니라 뇌, 간, 뼈 등과 같은 다른 내부 장기와 수송관의 밸브 등과 같은 무기 대상물의 다른 영상 데이터도 본 발명에 따른 방법을 위한 기초로서의 역할을 할 수 있다. 또한, 단수형의 사용은 관련된 특징이 여러번 존재하는 것도 배제하지 않는다. 본 발명에 따라 한번 생성된 대상물 모델에 있어서, 예를 들어 기록 및 표시 단계는 당연히 본 발명의 상황에서 되풀이해서 실행될 수 있다. 마찬가지로, "요소"라는 용어는 관련된 구성요소가 필요한 경우 공간적으로 분포될 수도 있는 수개의 상호작용 하위구성요소로 구성되는 것을 배제하지 않는다.

Claims (17)

1. 대상물(O)의 다감각연계 표현을 위한 방법이며, 적어도 이하의,
   - 대상물(O)의 다차원 디지털 모델 데이터(D)의 제공 단계,
   - 대상물(O)의 다차원 디지털 모델 데이터(D)의 적어도 일부(KD)에 기초한 실제 3차원 대상물 모델(M)의 생성 단계,
   - 실제 3차원 대상물 모델(M)의 위치의 기록 단계,
   - AR 표시 장치에 의한 대상물 모델(M)의 위치에 따라 대상물(O)의 다차원 디지털 모델 데이터(D)의 적어도 일부(DD, ID)의 표시 단계를 갖고,
   상기 AR 표시 장치는 다수의 투영기(39)를 포함하는, 대상물(O)의 다감각연계 표현을 위한 방법.
2. 제1항에 있어서, 대상물(O)은 신체(K) 내에 위치되며, 다차원 디지털 모델 데이터(D)는 영상화 방법의 도움으로 생성된 대상물(O)의 3차원 영상 데이터(BD)에 기초하는, 대상물(O)의 다감각연계 표현을 위한 방법.
3. 제1항 또는 제2항에 있어서, 다차원 디지털 모델 데이터(D)는 소프트웨어에 의해 생성된 대상물(O)의 3차원 영상 데이터(BD)에 기초하는, 대상물(O)의 다감각연계 표현을 위한 방법.
4. 제1항 또는 제2항에 있어서, 실제 3차원 대상물 모델(M)은 3D 프린터 및/또는 CNC 기계(3)의 도움으로 생성되는, 대상물(O)의 다감각연계 표현을 위한 방법.
5. 제1항 또는 제2항에 있어서, 다차원 디지털 모델 데이터(D)는 대상물(O)의 내부의 영상 데이터(BD)를 포함하는, 대상물(O)의 다감각연계 표현을 위한 방법.
6. 제1항 또는 제2항에 있어서, 다차원 디지털 모델 데이터(D)는 기능 및/또는 동적 데이터(FD, DD)를 포함하는, 대상물(O)의 다감각연계 표현을 위한 방법.
7. 제2항에 있어서, 기능 및/또는 동적 데이터(FD, DD)는 영상화 방법에 기초하는, 대상물(O)의 다감각연계 표현을 위한 방법.
8. 제6항에 있어서, 기능 및/또는 동적 데이터(FD, DD)는 모의시험에 기초하는, 대상물(O)의 다감각연계 표현을 위한 방법.
9. 제1항 또는 제2항에 있어서, 실제 3차원 대상물 모델(M)의 위치는 표식에 기초하여 기록되는, 대상물(O)의 다감각연계 표현을 위한 방법.
10. 제1항 또는 제2항에 있어서, 실제 3차원 대상물 모델(M)의 상태가 또한 기록되며, 3차원 대상물(O)의 다차원 디지털 모델 데이터(D)의 일부(DD, ID)가 추가로 실제 3차원 대상물 모델(M)의 상태에 따라 표시되는, 대상물(O)의 다감각연계 표현을 위한 방법.
11. 삭제
12. 대상물(O)의 다감각연계 표현을 위한 방법이며, 적어도 이하의,
    - 대상물(O)의 다차원 디지털 모델 데이터(D)의 제공 단계,
    - 대상물(O)의 다차원 디지털 모델 데이터(D)의 적어도 일부(KD)에 기초한 실제 3차원 대상물 모델(M)의 생성 단계,
    - 실제 3차원 대상물 모델(M)의 위치의 기록 단계,
    - AR 표시 장치에 의한 대상물 모델(M)의 위치에 따라 대상물(O)의 다차원 디지털 모델 데이터(D)의 적어도 일부(DD, ID)의 표시 단계를 갖고,
    실제 3차원 대상물 모델(M)의 촉각 특성은 본질적으로 대상물(O)의 촉각 특성에 대응하는, 대상물(O)의 다감각연계 표현을 위한 방법.
13. 대상물(O)의 다감각연계 표현을 위한 표현 시스템(1)이며,
    - 대상물(O)의 적어도 다차원 디지털 모델 데이터(D)를 제공하도록 설계되는 저장 장치(12),
    - 대상물의 다차원 디지털 모델 데이터(D)의 적어도 일부(KD)에 기초하여 실제 3차원 대상물 모델(M)을 생성하도록 설계되는 제조 장치(3),
    - 실제 3차원 대상물 모델(M)의 적어도 1개의 위치를 기록하도록 설계되는 대상물 기록 유닛(16),
    - 대상물 모델(M)의 위치에 따라 3차원 대상물의 다차원 디지털 모델 데이터(D)의 적어도 일부(ID, DD)를 표시하도록 설계되는 AR 표시 장치를 포함하고,
    상기 AR 표시 장치는 다수의 투영기(39)를 포함하는, 대상물(O)의 다감각연계 표현을 위한 표현 시스템(1).
14. 프로그램이 기록된 컴퓨터 판독 가능 매체로서, 상기 프로그램은,
    표현 시스템(1)의 표현 장치(10)의 저장 장치(12)에 직접적으로 로딩될 수 있고 상기 프로그램이 상기 표현 시스템(1)의 상기 표현 장치(10)에서 실행될 때 제1항 또는 제2항에서 청구된 바와 같은 방법의 모든 단계를 실행하는 프로그램 부분을 갖는, 컴퓨터 판독 가능 매체.
15. 프로그램 부분이 프로세서 유닛에 의해 실행될 때 제1항 또는 제2항에서 청구된 바와 같은 방법의 모든 단계를 실행하기 위해 프로세서 유닛에 의해 로딩가능 및 실행가능 프로그램 부분이 저장되어 있는, 컴퓨터 판독가능 매체.
16. 제3항에 있어서, 상기 소프트웨어는 CAD 프로그램을 포함하는, 대상물(O)의 다감각연계 표현을 위한 방법.
17. 제9항에 있어서, 상기 표식은 광학적인 표식 및/또는 RFID 표식을 포함하는, 대상물(O)의 다감각연계 표현을 위한 방법.

Images