KR20220005851A - 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치 - Google Patents

터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR20220005851A
KR20220005851A KR1020200083527A KR20200083527A KR20220005851A KR 20220005851 A KR20220005851 A KR 20220005851A KR 1020200083527 A KR1020200083527 A KR 1020200083527A KR 20200083527 A KR20200083527 A KR 20200083527A KR 20220005851 A KR20220005851 A KR 20220005851A
Authority
KR
South Korea
Prior art keywords
user
widget
volume
virtual widget
virtual
Prior art date
Application number
KR1020200083527A
Other languages
English (en)
Other versions
KR102352985B1 (ko
Inventor
박진아
김현수
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200083527A priority Critical patent/KR102352985B1/ko
Publication of KR20220005851A publication Critical patent/KR20220005851A/ko
Application granted granted Critical
Publication of KR102352985B1 publication Critical patent/KR102352985B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치가 개시된다. 일 실시예에 따른 인터페이스 방법은, 볼륨 데이터를 시각화하여 사용자와 상호 작용하는 인터페이스 방법에 있어서, 상기 볼륨 데이터를 이용하여 디스플레이되는 볼륨에 대한 상기 사용자의 제1 상호 작용을 수신하는 단계와, 상기 사용자의 제1 상호 작용에 기초하여 상기 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 상기 볼륨 상에 생성하는 단계와, 상기 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 부분적으로 가시화하는 단계를 포함한다.

Description

터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치{METHOD AND APPARATUS SYSTEM FOR VOLUME DATA VISUALIZATION INTERFACE THROUGH VIRTUAL WIDGET BASED ON TOUCH SCREEN}
아래 실시예들은 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치에 관한 것이다.
볼륨 데이터는 3차원 공간 상에서 값이 정의가 되어 있는 데이터이다. 볼륨 데이터는 2차원 공간 상에서 값이 정의가 되어 있는 데이터인 이미지의 확장형이라고 할 수 있다. 예를 들어, 볼륨 데이터는 CT, MRI 영상과 같은 의료 영상 또는 대기 관측 데이터 등이 있다.
1970년대 초에 개발된 컴퓨터 단층 영상 촬영장치인CT는 내부 구조를 침습 없는 영상으로 확인할 수 있는 획기적인 기술로 3차원 볼륨 데이터를 제공한다. 볼륨 데이터를 시각화하고 분석하는 다양한 기법들은 그동안 많은 발전을 하였고, 특히 ‘볼륨 렌더링’ 기법은 3차원 볼륨 데이터를 가시화하는 방법으로 의학과 같은 전문 분야에서 보편적으로 활용되고 있다.
볼륨 렌더링은 볼륨 데이터를 시각화하기 위해 3차원 데이터를 2차원 화면에 투영하는 것을 의미한다. 볼륨 렌더링 방법은 간접 볼륨 렌더링(Indirect volume rendering)과 직접 볼륨 렌더링(Direct volume rendering) 두 종류로 분류할 수 있다.
간접 볼륨 렌더링은 볼륨 데이터로부터 표면을 도출하여 그 표면을 렌더링하는 방식이다. 직접 볼륨 렌더링은 표면의 추출 없이 볼륨 데이터를 곧바로 렌더링하는 방식이다. 직접 볼륨 렌더링은 간접 볼륨 렌더링에 비해 구현이 까다롭지만, 볼륨 데이터의 특성을 효과적으로 시각화 한다. 따라서, 직접 볼륨 렌더링은 고성능 시각화 작업의 경우 많이 쓰인다. 레이 캐스팅(Ray casting)은 직접 볼륨 렌더링 방법 중 하나로, 각 픽셀마다 볼륨을 향해 레이(광선)를 쏘아, 레이가 지나가는 부근의 볼륨 데이터 값을 종합하여 픽셀의 색상을 결정하는 방식이다.
볼륨 데이터는 의료 영상이나 기계의 내부, 대기 관측 데이터 등 관람객에게 유용한 정보를 제공할 수 있는 다양한 데이터들이 많이 있다. 하지만 볼륨 데이터는 3차원 데이터라는 특성 때문에 일반적인 평면 데이터보다 조작하는 데 어려움이 있으며, 더욱이 사용자가 주로 전문가로 한정되어 있어서 이의 조작 기법에 관한 연구는 시각화 기법보다 발전이 더디었다.
즉, 볼륨 데이터는 이미지에 비해 많은 정보를 가지고 있지만, 전문 분야 이외에 활용되는 경우는 드물다. 그 이유는, 시각화가 간편한 이미지에 비해 볼륨 데이터를 시각화하는 기법의 구현이 까다롭고, 사용자가 의도에 따라 볼륨 데이터를 관찰하는 인터페이스 또한 미비하기 때문이다. 즉, 볼륨 데이터를 마우스를 이용하여 조작하는 방식은 관람객과 같은 비전문가가 짧은 시간 안에 정보를 습득하기 위한 시스템에 알맞지 않았다. 따라서, 전시 등의 목적으로 볼륨 데이터를 활용하기 위해서는 시각화 기법뿐만 아니라 사용자가 볼륨 데이터를 쉽게 관찰할 수 있는 직관적인 인터페이스가 필요하다.
실시예들은 사용자가 시각화된 볼륨 데이터의 내부 및/또는 외부를 직관적으로 제어하여 관찰할 수 있도록 인터페이스를 제공할 수 있다.
또한, 실시예들은 가상 위젯을 통해 볼륨 데이터의 부분적인 가시성을 변경하여 시각화하고, 사용자가 터치 스크린 상에서 가상 위젯을 생성, 편집 및 삭제하는 인터페이스를 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 인터페이스 방법은, 볼륨 데이터를 시각화하여 사용자와 상호 작용하는 인터페이스 방법에 있어서, 상기 볼륨 데이터를 이용하여 디스플레이되는 볼륨에 대한 상기 사용자의 제1 상호 작용을 수신하는 단계와, 상기 사용자의 제1 상호 작용에 기초하여 상기 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 상기 볼륨 상에 생성하는 단계와, 상기 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 부분적으로 가시화하는 단계를 포함한다.
상기 방법은, 상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득하는 단계와, 상기 복수의 전체 집중점들을 공간 자료 구조에 저장하는 단계를 더 포함할 수 있다.
상기 저장하는 단계는, 상기 복수의 전체 집중점들을 RGB 텍스처로 부호화하는 단계와, 복수의 부호화된 전체 집중점들을 복호화하여 상기 공간 자료 구조에 저장하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 사용자의 제1 상호 작용에 대응하는 상기 볼륨 상의 스케치 위치를 획득하는 단계와, 상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들 중에서 상기 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택하는 단계와, 상기 복수의 관심 집중점들 및 상기 복수의 전체 집중점들을 이용하여 상기 가상 위젯의 크기 및 위치를 결정하는 단계와, 상기 제1 상호 작용의 형태에 따라 상기 가상 위젯의 타입을 결정하는 단계와, 상기 크기, 상기 위치, 및 상기 타입에 따라 상기 가상 위젯을 생성하는 단계를 포함할 수 있다.
상기 가상 위젯의 타입을 결정하는 단계는, 상기 사용자의 제1 상호 작용이 직선 형태인 때 상기 가상 위젯의 타입을 웨지(wedge) 위젯으로 결정하는 단계를 포함할 수 있다.
상기 가상 위젯의 타입을 결정하는 단계는, 상기 사용자의 제1 상호 작용이 원 형태인 때 상기 가상 위젯의 타입을 아이리스(iris) 위젯으로 결정하는 단계를 포함할 수 있다.
상기 방법은, 상기 가상 위젯에 대한 상기 사용자의 제2 상호 작용을 수신하는 단계와, 상기 사용자의 제2 상호 작용에 기초하여 상기 가상 위젯을 변형하는 단계와, 변형된 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 가시화하는 단계를 더 포함할 수 있다.
상기 제2 상호 작용은, 상기 사용자가 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 입력될 수 있다.
상기 방법은, 상기 사용자의 제2 상호 작용이 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 상기 서로 다른 지점의 경계면이 일치하는 때, 상기 가상 위젯을 삭제하는 단계를 더 포함할 수 있다.
상기 생성하는 단계는, 상기 가상 위젯에 대한 정보를 가상 위젯 배열에 저장하는 단계와, 상기 가상 위젯 배열에 저장된 정보를 렌더링하여 상기 가상 위젯에 대한 가상 위젯 렌더링 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 인터페이스 장치는, 볼륨 데이터를 시각화하여 사용자와 상호 작용하는 인터페이스를 위한 인스트럭션들을 저장하는 메모리와, 상기 인스트럭션들을 실행하기 위한 컨트롤러를 포함하고, 상기 인스트럭션들이 상기 컨트롤러에 의해 실행될 때, 상기 컨트롤러는, 상기 볼륨 데이터를 이용하여 디스플레이되는 볼륨에 대한 상기 사용자의 제1 상호 작용을 수신하고, 상기 사용자의 제1 상호 작용에 기초하여 상기 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 상기 볼륨 상에 생성하고, 상기 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 부분적으로 가시화한다.
상기 컨트롤러는, 상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득하고, 상기 복수의 전체 집중점들을 공간 자료 구조에 저장할 수 있다.
상기 컨트롤러는, 상기 복수의 전체 집중점들을 RGB 텍스처로 부호화하고, 복수의 부호화된 전체 집중점들을 복호화하여 상기 공간 자료 구조에 저장할 수 있다.
상기 컨트롤러는, 상기 사용자의 제1 상호 작용에 대응하는 상기 볼륨 상의 스케치 위치를 획득하고, 상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들 중에서 상기 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택하고, 상기 복수의 관심 집중점들 및 상기 복수의 전체 집중점들을 이용하여 상기 가상 위젯의 크기 및 위치를 결정하고, 상기 제1 상호 작용의 형태에 따라 상기 가상 위젯의 타입을 결정하고, 상기 크기, 상기 위치, 및 상기 타입에 따라 상기 가상 위젯을 생성할 수 있다.
상기 컨트롤러는, 상기 사용자의 제1 상호 작용이 직선 형태인 때 상기 가상 위젯의 타입을 웨지(wedge) 위젯으로 결정할 수 있다.
상기 컨트롤러는, 상기 사용자의 제1 상호 작용이 원 형태인 때 상기 가상 위젯의 타입을 아이리스(iris) 위젯으로 결정할 수 있다.
상기 컨트롤러는, 상기 가상 위젯에 대한 상기 사용자의 제2 상호 작용을 수신하고, 상기 사용자의 제2 상호 작용에 기초하여 상기 가상 위젯을 변형하고, 변형된 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 가시화할 수 있다.
상기 제2 상호 작용은, 상기 사용자가 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 입력될 수 있다.
상기 컨트롤러는, 상기 사용자의 제2 상호 작용이 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 상기 서로 다른 지점의 경계면이 일치하는 때, 상기 가상 위젯을 삭제할 수 있다.
상기 컨트롤러는, 상기 가상 위젯에 대한 정보를 가상 위젯 배열에 저장하고, 상기 가상 위젯 배열에 저장된 정보를 렌더링하여 상기 가상 위젯에 대한 가상 위젯 렌더링 이미지를 생성할 수 있다.
도 1은 일 실시예에 따른 인터페이스 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 인터페이스 장치를 개략적으로 나타낸 도면이다.
도 3은 도 2에 도시된 컨트롤러를 개략적으로 나타낸 도면이다.
도 4는 도 3에 도시된 GPU가 집중점을 획득하기 위하여 이용하는 알고리즘을 나타낸 도면이다.
도 5는 도 3에 도시된 프로세서 및 GPU를 개략적으로 나타낸 도면이다.
도 6은 도 5에 도시된 사용자 입력 처리기를 개략적으로 나타낸 도면이다.
도 7은 도 5에 도시된 집중점 처리기를 개략적으로 나타낸 도면이다.
도 8은 도 3에 도시된 GPU를 개략적으로 나타낸 도면이다.
도 9는 인터페이스 장치가 복수의 관심 집중점들을 관심 집중점 배열로 저장하는 동작을 설명하기 위한 도면이다.
도 10은 집중점을 저장하는 공간 자료 구조를 시각화한 일 예를 나타낸다.
도 11 내지 도 16는 인터페이스 장치가 가상 위젯을 생성하는 동작을 설명하기 위한 도면이다.
도 17은 인터페이스 장치의 편집 모드에서 인터페이스 장치가 사용자의 상호 작용에 의해 가상 위젯을 편집 또는 삭제하는 동작을 설명하기 위한 도면이다.
도 18은 사용자 입력 처리기가 가상 위젯을 변형하는 과정을 설명하기 위한 도면이다.
도 19는 그래픽 렌더링기의 동작을 설명하기 위한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
본 명세서에서의 모듈(module) 은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다. 다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
도 1은 일 실시예에 따른 인터페이스 시스템을 나타낸 도면이다.
인터페이스 시스템(10)은 터치 스크린(100) 및 인터페이스 장치(200)를 포함한다.
인터페이스 시스템(10)은 사용자가 터치 스크린(100)을 통해 시각화된 볼륨 데이터와 상호작용할 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 인터페이스 시스템(10)은 사용자가 터치 스크린(100)을 통해 시각화된 볼륨 데이터의 내부 및/또는 외부를 직관적으로 제어하며 관찰할 수 있도록 하는 인터페이스를 제공할 수 있다.
인터페이스 시스템(10)은 볼륨 데이터가 가시화된(예를 들어, 렌더링된) 볼륨의 부분적인 가시성을 가상 위젯을 통해 변경하여 볼륨의 내부 및/또는 외부를 시각화하고, 사용자가 터치 스크린(100) 상에서 가상 위젯을 생성, 편집 및 삭제하는 인터페이스를 제공할 수 있다.
인터페이스 시스템(10)은 비전문가의 정보 습득을 위해서 볼륨의 내부와 외부를 관찰할 수 있는 가상 위젯을 생성, 편집 및 삭제할 수 있는 인터페이스를 제공할 수 있다. 인터페이스 시스템(10)은 사용자가 볼륨의 내부 구조를 능동적으로 탐색해 가면서 관찰할 수 있는 인터페이스를 제공함으로써, 볼륨 데이터를 과학의 대중화에 쉽게 활용될 수 있도록 할 수 있다.
터치 스크린(100)은 볼륨 데이터가 렌더링된 볼륨 렌더링 이미지 및/또는 가상 위젯 렌더링 이미지를 사용자에게 디스플레이할 수 있다. 볼륨 렌더링 이미지는 2차원 및/또는 3차원 이미지로 터치 스크린(100) 상에 디스플레이되는 볼륨을 의미하고, 가상 위젯 렌더링 이미지는 2차원 및/또는 3차원 이미지로 터치 스크린(100) 상에 디스플레이되는 가상 위젯을 의미할 수 있다.
터치 스크린(100)은 터치 스크린(100) 상에 디스플레이되는 볼륨 또는 가상 위젯에 대한 사용자의 상호 작용을 수신할 수 있다. 예를 들어, 사용자의 상호 작용은 터치 스크린(100)을 통해 입력되는 볼륨 또는 가상 위젯에 대한 사용자의 터치 입력 등을 포함할 수 있다.
터치 스크린(100)은 사용자의 상호 작용을 인터페이스 장치(200)로 전송할 수 있다.
인터페이스 장치(200)는 사용자의 상호 작용에 기초하여 사용자가 터치 스크린(100) 상에서 볼륨을 관찰할 수 있도록 인터페이스를 제공할 수 있다. 인터페이스 장치(200)는 사용자의 상호 작용에 기초하여 사용자가 터치 스크린(100) 상에서 가상 위젯을 생성, 편집 및 삭제할 수 있도록 인터페이스를 제공할 수 있다. 예를 들어, 인터페이스 장치(200)는 3D 게임엔진 Unity를 이용하여 인터페이스를 제공할 수 있다.
인터페이스 장치(200)는 터치 스크린(100) 상에 디스플레이되는 대상에 대해 사용자가 제어할 수 있는 제어 모드를 제공할 수 있다. 제어 모드는 볼륨 관찰 모드, 가상 위젯 생성 모드 및 가상 위젯 편집 모드를 포함할 수 있다. 예를 들어, 사용자는 터치 스크린(100) 상에서 볼륨 관찰 모드, 가상 위젯 생성 모드 및 가상 위젯 편집 모드 중에서 적어도 하나를 선택하고, 선택된 모드에서 터치 스크린(100) 상에 디스플레이되는 대상과 상호작용을 수행할 수 있따.
볼륨 관찰 모드는 사용자가 터치 스크린(100) 상에서 볼륨을 터치로 끌어당겨서 볼륨을 돌릴 수 있어, 사용자가 여러 시점에서 볼륨을 관찰할 수 있는 모드일 수 있다. 예를 들어, 볼륨 관찰 모드에서, 인터페이스 장치(200)는 다음과 같이 동작할 수 있다. 인터페이스 장치(200)는 사용자가 볼륨을 터치하면, 카메라 위치를 원점으로 터치한 지점으로 가는 레이(ray)를 생성할 수 있다. 인터페이스 장치(200)는 레이가 볼륨의 바운딩 박스와 충돌하면, 그 터치를 볼륨을 회전하기 위한 터치라고 판단할 수 있다. 인터페이스 장치(200)는 볼륨을 회전하기 위한 터치일 때, 터치가 드래그 입력되면 레이와 충돌했던 볼륨 위의 지점이 화면 상에서 터치 포인터와 붙어있는 것처럼 회전할 수 있다.
가상 위젯 생성 모드는 사용자의 볼륨에 대한 상호 작용으로 사용자의 볼륨 상 관심 부위에 볼륨의 내/외부를 관찰할 수 있는 가상 위젯을 생성하는 모드일 수 있다. 예를 들어, 가상 위젯 생성 모드에서, 인터페이스 장치(200)는 다음과 같이 동작할 수 있다. 인터페이스 장치(200)는 사용자가 볼륨 위에 직선을 그리는 터치 입력을 수행하면 스케치 입력을 따라 내부를 볼 수 있는 웨지 위젯을 생성할 수 있다. 인터페이스 장치(200)는 사용자가 볼륨 위에 원을 그리는 터치 입력을 수행하면 그 원을 따라 자른 내부를 볼 수 있는 아이리스 위젯을 생성할 수 있다.
가상 위젯 편집 모드는 사용자가 가상 위젯의 경계면을 드래그함으로써 가상 위젯의 가시성을 조절할 수 있는 모드일 수 있다. 가상 위젯 편집 모드에서, 인터페이스 장치(200)는 사용자가 가상 위젯의 서로 다른 경계면을 드래그 하여 서로 다른 경계면끼리 일치하는 때 가상 위젯을 삭제할 수 있다.
도 2는 도 1에 도시된 인터페이스 장치를 개략적으로 나타낸 도면이다.
인터페이스 장치(200)는 컨트롤러(210) 및 메모리(230)를 포함할 수 있다.
컨트롤러(210)는 터치 스크린(100) 상에 디스플레이되는 볼륨에 대한 사용자의 제1 상호 작용을 수신하고, 사용자의 제1 상호 작용에 기초하여 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 볼륨 상에 생성할 수 있다. 컨트롤러(210)는 가상 위젯에 따라 볼륨 상에서 볼륨의 내부를 부분적으로 가시화할 수 있다.
또한, 컨트롤러(210)는 가상 위젯에 대한 사용자의 제2 상호 작용을 수신하고, 사용자의 제2 상호 작용에 기초하여 가상 위젯을 변형할 수 있다. 제2 상호 작용은, 사용자가 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 입력될 수 있다. 제2 상호 작용 입력 시, 컨트롤러(210)는 가상 위젯의 경계면을 강조하여 사용자에게 제공할 수 있다. 컨트롤러(210)는 변형된 가상 위젯에 따라 볼륨 상에서 볼륨의 내부를 가시화할 수 있다.
컨트롤러(210)는 사용자의 제2 상호 작용이 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 서로 다른 지점의 경계면이 일치하는 때, 가상 위젯을 삭제할 수 있다.
메모리(230)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230)는 인터페이스 장치(200)의 적어도 하나의 다른 구성요소에 관계된 명령 및/또는 데이터를 저장할 수 있다. 예를 들어, 메모리(230)는 볼륨 데이터, 공간 자료 구조, 관심 집중점 배열, 및/또는 가상 위젯 배열을 저장할 수 있다
메모리(230)는 소프트웨어(software) 및/또는 프로그램(program) 등을 저장할 수 있다. 예를 들어, 메모리(230)는 볼륨 데이터를 시각화하여 사용자와 상호 작용하는 인터페이스를 위한 어플리케이션 및 소프트웨어 등을 저장할 수 있다.
메모리(230)는 볼륨 데이터 및 가상 위젯에 대한 정보가 저장되는 가상 위젯 배열을 저장할 수 있다. 볼륨 데이터 및 가상 위젯에 대한 정보가 저장되는 가상 위젯 배열은 메모리가(230)가 아닌 별도로 구현된 메모리(미도시)에 저장될 수도 있다.
도 3은 도 2에 도시된 컨트롤러를 개략적으로 나타낸 도면이고, 도 4는 도 3에 도시된 GPU가 집중점을 획득하기 위하여 이용하는 알고리즘을 나타낸 도면이다.
컨트롤러(210)는 프로세서(211) 및 GPU(Graphics Processing Unit; 215)를 포함할 수 있다.
프로세서(211)는 사용자의 상호 작용에 응답하여 볼륨 데이터를 통해 터치 스크린(100) 상에 디스플레이되는 볼륨에 디스플레이할 가상 위젯을 결정할 수 있다.
GPU(215)는 볼륨 데이터로부터 가시성이 증가하는 점들인 복수의 전체 집중점들을 추출하고, 볼륨 데이터를 이용하여 볼륨을 렌더링하고, 가상 위젯에 대한 정보를 이용하여 가상 위젯을 렌더링할 수 있다.
이하에서는 프로세서(211) 및 GPU(215)가 별도 구현되어 프로세서(211) 및 GPU(215)가 서로 구분되는 동작을 기술하지만, 실시예에 따라 GPU(215)는 프로세서(211) 내부에 구현될 수 있다. 즉, 프로세서(211)는 이하에서 기술되는 GPU(215)의 동작을 수행할 수도 있다.
프로세서(211)는 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 예를 들어, 프로세서(211)는 GPU(215)를 포함하여 구현될 수 있다.
프로세서(211)는 인터페이스 장치(200)의 적어도 하나의 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다. 예를 들어, 프로세서(211)는 메모리(230)에 저장된 어플리케이션 및/또는 소프트웨어 등을 실행할 수 있다.
프로세서(211)는 수신한 데이터 및 메모리(230)에 저장된 데이터를 처리할 수 있다. 프로세서(211)는 메모리(230)에 저장된 데이터를 처리할 수 있다. 프로세서(211)는 메모리(230)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(211)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(211)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(211)는 복수의 전체 집중점들을 공간 자료 구조에 저장할 수 있다. 예를 들어, GPU(215)가 볼륨 데이터로부터 복수의 전체 집중점들을 추출하고, 복수의 전체 집중점들을 RGB 텍스처로 부호화하면, 프로세서(211)는 복수의 부호화된 전체 집중점들을 복호화하여 공간 자료 구조에 저장할 수 있다.
프로세서(211)는 터치 스크린(100)에 디스플레이되는 볼륨에 대한 사용자의 제1 상호 작용을 수신할 수 있다.
프로세서(211)는 사용자의 제1 상호 작용에 기초하여 볼륨 상에 디스플레이될 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 생성할 수 있다.
프로세서(211)는 가상 위젯의 크기, 가상 위젯의 위치, 및 가상 위젯의 타입에 따라 가상 위젯을 생성할 수 있다.
예를 들어, 프로세서(211)는 사용자의 제1 상호 작용에 대응하는 볼륨 상의 스케치 위치를 획득할 수 있다. 스케치 위치는 사용자가 터치 스크린(100) 상의 볼륨에 대해 터치 입력한 3D 공간 상의 연속적인 터치 위치를 의미할 수 있다. 프로세서(211)는 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들 중에서 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택할 수 있다. 프로세서(211)는 복수의 관심 집중점들 및 복수의 전체 집중점들을 이용하여 가상 위젯의 크기 및 가상 위젯의 위치를 결정할 수 있다. 크기 및 위치는 3D 공간 상의 크기 및 위치를 의미할 수 있다.
프로세서(211)는 제1 상호 작용의 형태에 따라 가상 위젯의 타입을 결정할 수 있다. 프로세서(211)는 사용자의 제1 상호 작용이 직선 형태인 때 가상 위젯의 타입을 웨지(wedge) 위젯으로 결정할 수 있다. 프로세서(211)는 사용자의 제1 상호 작용이 원 형태인 때 가상 위젯의 타입을 아이리스(iris) 위젯으로 결정할 수 있다.
예를 들어, 프로세서(211)는 볼륨 데이터에서 집중점을 모아 포인트 클라우드를 생성할 수 있다. 프로세서(211)는 집중점을 모은 포인트 클라우드를 사용자가 터치를 시작했을 때부터 생성할 수 있다. 프로세서(211)는 사용자가 터치 스크린(100) 위에 터치 입력으로 스케치를 수행하면, 동시에 스케치 경로에서 화면상으로 가장 가까운 집중점을 검색할 수 있다. 프로세서(211)는 검색된 집중점들을 사용자의 관심 부위에 속한 복수의 관심 집중점들로 획득할 수 있다. 프로세서(211)는 사용자가 스케치를 마치면 복수의 전체 집중점들과 관심 부위로 분류된 복수의 관심 집중점들에 기초하여 관심 부위에 맞는 가상 위젯의 타입을 결정할 수 있다.
프로세서(211)는 사용자가 어떤 종류의 가상 위젯을 그리는지, 가상 위젯의 어떤 초기 상태를 원하는지를 분석하여 가상 위젯을 생성할 수 있다. 예를 들어, 프로세서(211)는 사용자가 터치를 시작하면, 카메라에서 각 픽셀마다 레이를 생성할 수 있다. 프로세서(211)는 레이 위에서 집중점을 찾는 방법으로 WYSIWYP(What You See Is What You Print)의 방법을 변형하여 이용할 수 있다. WYSIWYP에서는 각 레이 위에서 불투명도에 대한 기여의 국부 최대값(local maximum)을 집중점으로 정의하기 때문에, 한 레이에서 여러 집중점이 나올 수 있다. 프로세서(211)는 여러 집중점이 나올 수 있다면, 레이가 전진하면서 새로운 국부 최대값을 지날 때마다 도 4의 알고리즘을 이용하여 확률적으로 최종 집중점을 변경할 수 있다. 즉, 프로세서(211)는 레이 위에서 하나의 집중점만 획득할 수 있다. 프로세서(211)는 각 레이마다 집중점을 하나만 획득하기 때문에 GPU(215)에서 가속하기 효율적이고, 동시에 볼륨의 전면에서뿐만 아니라 후면의 구조 또한 확률적으로 집중점에 포함이 되어 이후 구 추정의 정확성을 높일 수 있다.
프로세서(211)는 획득한 픽셀 당 집중점의 위치는 3차원 좌표를 색상으로 부호화하여 텍스처에 저장할 수 있다. 프로세서(211)는 텍스처에 저장한 집중점 포인트 클라우드를 빠른 포인트 검색을 위해서 공간 자료 구조(예를 들어, 옥트리, octree)로 정리할 수 있다. 예를 들어, 프로세서(211)는 사용자의 터치 입력인 스케치가 정해진 거리 Δl을 움직일 때마다, 스케치에서 가장 가까운 집중점을 공간 자료 구조에서 검색할 수 있다. 스케치에서 가장 가까운 집중점이란, 카메라에서 스케치 방향으로 반직선을 만들 때, 이 반직선에서 가장 가까운 집중점을 의미할 수 있다. 프로세서(211)는 스케치에서 가장 가까운 집중점을 찾으면, 그 집중점에서 Δl/2 보다 가까이 있는 모든 집중점을 관심 부위에 속한 관심 집중점으로 획득할 수 있다.
예를 들어, 프로세서(211)는 사용자가 스케치를 끝내면, 복수의 전체 집중점들 및 획득한 복수의 관심 부위 집중점들에 기초하여 사용자의 관심 부위에 가장 알맞은 가상 위젯의 타입을 결정할 수 있다. 프로세서(211)는 기존의 Random Sample Consensus(RANSAC) 알고리즘에 관심 부위에 대한 고려를 추가한Region-of-interest(ROI)-based RANSAC을 이용할 수 있다. 기존 RANSAC의 objective function은 수학식 1과 같다.
Figure pat00001
Figure pat00002
는 샘플의 집합,
Figure pat00003
는 모델을 추정하기 위한 샘플의 최소한의 부분집합,
Figure pat00004
는
Figure pat00005
가 정의하는 모델에 대한 샘플
Figure pat00006
의 Loss가
Figure pat00007
이하이면1을,
Figure pat00008
초과이면 0을 출력하는 함수를 의미할 수 있다.
기존RANSAC은 모든 샘플 포인트를 동등하게 대우하기 때문에, 사용자의 관심 부위를 고려하여 사용자의 관심 부위에 가장 알맞은 가상 위젯의 타입을 추정하기 힘들 수 있다.
프로세서(211)는 수학식 2를 통해 사용자의 관심 부위에 가장 알맞은 가상 위젯의 타입을 추정할 수 있다.
Figure pat00009
Figure pat00010
는 관심 부위로 분류된 샘플 포인트의 집합,
Figure pat00011
는
Figure pat00012
가 정의하는 모델에 대한관심 부위 샘플
Figure pat00013
의 Loss가
Figure pat00014
이하이면 1을, 초과하면0을 출력하는 함수,
Figure pat00015
는 관심 부위가 얼마나 영향을 미칠지에 대한 계수를 의미할 수 있다.
프로세서(211)는 수학식 2를 통해 최적의 구를 찾으면, 구의 중심
Figure pat00016
에 대한 정보와 함께 사용자의 스케치를 분석하여 어떤 타입의 가상 위젯을 생성할지 결정할 수 있다. 즉, 프로세서(211)는 사용자의 스케치를 분석하여 웨지 위젯을 생성해야 하는지, 아이리스 위젯을 생성해야 하는지를 판단할 수 있다. 이를 위해, 프로세서(211)는 스케치를 따라 선택된 관심 부위 집중점
Figure pat00017
의 평균 지점
Figure pat00018
를 계산할 수 있다. 프로세서(211)는 평균 지점
Figure pat00019
을 구하면, 각 관심 부위 집중점
Figure pat00020
를,
Figure pat00021
를 지나고
Figure pat00022
를 법선(normal)으로 하는 평면에 정사영 시킬 수 있다. 정사영된 점들을
Figure pat00023
라고 하면,
Figure pat00024
는 평면위의 점이기 때문에 평면의 기저(basis)를 기반으로 2차원 벡터로 나타낼 수 있다. 프로세서(211)는 이를 Two-dimensionalPrincipal Component Analysis(2D PCA)로 장축과 단축의 고유값
Figure pat00025
을 계산할 수 있다.
프로세서(211)는 스케치 형태가 직선인 경우 한방향으로 늘어져 있으므로
Figure pat00026
이고, 원인 경우 점들이 각 방향으로 고르게 퍼져있기 때문에
Figure pat00027
으로 정의할 수 있다. 프로세서(211)는 이러한 특성을 사용하여, 수학식 3 및 수학식 4를 통해 사용자의 상호 작용을 분류할 수 있다.
Figure pat00028
Figure pat00029
Figure pat00030
는 웨지 위젯과 아이리스 위젯을 구분하는 1보다 큰 계수를 의미할 수 있다. 예를 들어, 프로세서(211)는 스케치의 형태가 직선인지 원인지 판단하는 계수
Figure pat00031
를 10으로 결정할 수 있다.
프로세서(211)는 구 위에서 위젯의 방향과 열린 각도를 판단하며 가상 위젯을 생성할 수 있다.
프로세서(211)는 웨지 위젯의 경우, 2D PCA에서 구한 장축의 방향을polar axis로 하고,
Figure pat00032
방향으로 벌어져 있도록 방향을 설정할 수 있다. 프로세서(211)는 열린 각도의 경우 스케치에서 정의되지 않기 때문에 임의의 값으로 설정할 수 있다. 프로세서(211)는 아이리스 위젯의 경우,
Figure pat00033
를 원뿔의 중심축으로 설정하고, 열린 각도는 직선
Figure pat00034
와 직선
Figure pat00035
사이 각도의 평균값으로 결정할 수 있다.
프로세서(211)는 가상 위젯에 대한 정보를 가상 위젯 배열에 저장할 수 있다.
프로세서(211)는 가상 위젯에 대한 사용자의 제2 상호 작용을 수신할 수 있다. 예를 들어, 제2 상호 작용은, 사용자가 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 입력될 수 있다. 프로세서(211)는 가상 위젯의 경계면을 강조하여 사용자에게 제공할 수 있다.
프로세서(211)는 사용자의 제2 상호 작용에 기초하여 가상 위젯을 변형할 수 있다. 프로세서(211)는 변형된 가상 위젯에 대한 정보를 가상 위젯 배열에 저장할 수 있다.
프로세서(211)는 사용자의 제2 상호 작용이 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 서로 다른 지점의 경계면이 일치하는 때, 가상 위젯을 삭제할 수 있다.
GPU(215)는 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득할 수 있다. GPU(215)는 복수의 전체 집중점들을 프로세서(211)로 출력할 수 있다.
GPU(215)는 변형된 가상 위젯에 대한 정보를 렌더링하여 변형된 가상 위젯에 따른 볼륨 상에서의 볼륨의 내부를 가시화할 수 있다.
도 5는 도 3에 도시된 프로세서 및 GPU를 개략적으로 나타낸 도면이다.
프로세서(211)는 사용자 입력 처리기(211-1), 집중점 처리기(211-5)를 포함할 수 있다. 예를 들어, 도 5에서는 GPU(215)가 프로세서(211)와 별도로 구현된 것으로 나타나 있지만, 프로세서(211)는 GPU(215)를 포함하여 구현될 수 있다.
사용자 입력 처리기(211-1)는 사용자의 상호 작용이 가상 위젯을 생성하기 위한 스케치 입력인지 가상 위젯 편집 입력인지를 판단할 수 있다. 예를 들어, 스케치 입력은 사용자가 터치 스크린(100)을 통해 입력하는 볼륨 상의 연속적인 터치 입력을 의미할 수 있다. 가상 위젯 편집 입력은 사용자가 터치 스크린(100)을 통해 가상 위젯의 서로 다른 경계면을 드래그하는 터치 입력을 의미할 수 있다.
사용자 입력 처리기(211-1)는 사용자의 상호 작용이 스케치 입력인 경우 스케치 입력에 대응하는 3D 공간 상의 스케치 위치를 결정할 수 있다. 사용자 입력 처리기(211-1)는 스케치 위치를 집중점 처리기(211-5)로 출력할 수 있다.
사용자 입력 처리기(211-1)는 스케치 위치, 복수의 전체 집중점들의 위치 및 복수의 관심 집중점들의 위치에 기초하여 가상 위젯을 생성할 수 있다.
사용자 입력 처리기(211-1)는 사용자의 상호 작용이 가상 위젯 편집 입력인 경우 사용자의 상호 작용에 기초하여 가상 위젯을 변형할 수 있다.
사용자 입력 처리기(211-1)는 생성한 가상 위젯 또는 변형한 가상 위젯을 가상 위젯 배열에 저장할 수 있다.
집중점 처리기(211-5)는 복수의 부호화된 전체 집중점들을 복호화하여 공간 자료 구조에 저장할 수 있다.
집중점 처리기(211-5)는 복수의 전체 집중점들의 위치를 결정할 수 있다. 집중점 처리기(211-5)는 복수의 전체 집중점들 중에서 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택할 수 있다. 집중점 처리기(211-5)는 복수의 관심 집중점들의 위치를 결정할 수 있다.
집중점 처리기(211-5)는 복수의 전체 집중점들의 위치 및 복수의 관심 집중점들의 위치를 사용자 입력 처리기(211-1)로 출력할 수 있다.
GPU(215)는 볼륨 데이터를 이용하여 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득할 수 있다. GPU(215)는 복수의 전체 집중점들을 RGB 텍스처로 부호화하여 집중점 처리기(211-5)로 출력할 수 있다.
GPU(215)는 볼륨 데이터를 렌더링하여 볼륨 렌더링 이미지를 생성할 수 있다. GPU(215)는 가상 위젯에 의해 부분적인 가시성 및 색상이 변경된 볼륨 데이터를 렌더링하여 볼륨 렌더링 이미지를 생성할 수 있다. GPU(215)는 볼륨 렌더링 이미지를 터치 스크린(100)으로 전송할 수 있다.
GPU(215)는 가상 위젯 배열에 저장된 정보를 렌더링하여 가상 위젯 렌더링 이미지를 생성할 수 있다. GPU(215)는 가상 위젯 렌더링 이미지를 터치 스크린(100)으로 전송할 수 있다.
도 6은 도 5에 도시된 사용자 입력 처리기를 개략적으로 나타낸 도면이다.
사용자 입력 처리기(211-1)는 상호 작용 분류 모듈(211-11), 집중점 검색 모듈(211-13), 가상 위젯 생성 모듈(211-15) 및 가상 위젯 편집 모듈(211-17)을 포함할 수 있다.
상호 작용 분류 모듈(211-11)은 사용자의 상호 작용이 스케치 입력인지 가상 위젯 편집 입력인지를 판단할 수 있다.
상호 작용 분류 모듈(211-11)은 사용자의 상호 작용이 스케치 입력인 경우 사용자의 상호 작용을 집중점 검색 모듈(211-13)로 출력할 수 있다. 상호 작용 분류 모듈(211-11)은 사용자의 상호 작용이 가상 위젯 편집 입력인 경우 사용자의 상호 작용을 가상 위젯 편집 모듈(211-17)로 출력할 수 있다.
집중점 검색 모듈(211-13)은 사용자의 상호 작용에 대한 3D 공간 상의 스케치 위치를 결정할 수 있다. 집중점 검색 모듈(211-13)은 스케치 위치를 가상 위젯 생성 모듈(211-15) 및 집중점 쿼리 핸들러(211-55)로 출력할 수 있다.
집중점 검색 모듈(211-13)은 사용자의 상호 작용이 입력되는 동안 복수의 전체 집중점들 중에서 스케치 위치 부근의 집중점을 검색하는 쿼리(query)를 집중점 쿼리 핸들러(211-55)로 출력할 수 있다.
가상 위젯 생성 모듈(211-15)은 복수의 관심 집중점들의 위치를 관심 집중점 배열로 저장할 수 있다. 가상 위젯 생성 모듈(211-15)은 관심 집중점 배열 및 복수의 전체 집중점들의 위치를 이용하여 가상 위젯의 크기 및 가상 위젯의 위치를 결정할 수 있다. 가상 위젯 생성 모듈(211-15)은 관심 집중점 배열 및 스케치 위치를 이용하여 가상 위젯의 타입을 결정할 수 있다.
가상 위젯 생성 모듈(211-15)은 가상 위젯의 크기, 가상 위젯의 위치 및 가상 위젯의 타입에 따라 가상 위젯을 생성할 수 있다. 가상 위젯 생성 모듈(211-15)은 생성한 가상 위젯을 가상 위젯 배열에 저장할 수 있다.
가상 위젯 편집 모듈(211-17)은 사용자의 상호 작용에 기초하여 가상 위젯을 변형할 수 있다. 가상 위젯 편집 모듈(211-17)은 변형된 가상 위젯을 가상 위젯 배열에 저장할 수 있다.
도 7은 도 5에 도시된 집중점 처리기를 개략적으로 나타낸 도면이다.
집중점 처리기(211-5)는 집중점 텍스처 복호화 모듈(211-51), 공간 자료 구조 저장 모듈(211-53) 및 집중점 쿼리 핸들러(211-55)를 포함할 수 있다.
집중점 텍스처 복호화 모듈(211-51)은 복수의 부호화된 전체 집중점들을 복호화하여 공간 자료 구조 저장 모듈(211-53)로 출력할 수 있다.
공간 자료 구조 저장 모듈(211-53)은 복수의 복호화된 전체 집중점들을 공간 자료 구조로 저장할 수 있다. 공간 자료 구조 저장 모듈(211-53)은 공간 자료 구조를 집중점 쿼리 핸들러(211-55)로 출력할 수 있다.
집중점 쿼리 핸들러(211-55)는 공간 자료 구조를 이용하여 복수의 전체 집중점들의 위치를 결정할 수 있다.
집중점 쿼리 핸들러(211-55)는 쿼리에 따라 공간 자료 구조로부터 복수의 전체 집중점들을 검색하고, 복수의 전체 집중점들 중에서 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택할 수 있다. 집중점 쿼리 핸들러(211-55)는 복수의 관심 집중점들을 이용하여 복수의 관심 집중점들의 위치를 결정할 수 있다.
집중점 쿼리 핸들러(211-55)는 사용자의 상호 작용이 입력되지 않는 경우 복수의 전체 집중점들의 위치 및 복수의 관심 집중점들의 위치를 가상 위젯 생성 모듈(211-15)로 출력할 수 있다.
도 8은 도 3에 도시된 GPU를 개략적으로 나타낸 도면이다.
GPU(215)는 집중점 추출 모듈(215-1), 볼륨 렌더링 모듈(215-3) 및 가상 위젯 시각화 모듈(215-5)을 포함할 수 있다.
집중점 추출 모듈(215-1)은 볼륨 데이터를 이용하여 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득할 수 있다. 예를 들어, 볼륨 데이터 상의 집중점은 3차원 좌표로 표현될 수 있다. 집중점 추출 모듈(215-1)은 레이 캐스팅(Ray-casting) 기반의 볼륨 렌더링을 진행할 때, 카메라에서 볼륨을 향해 레이를 쏴서 레이 위에 등간격으로 놓인 샘플 포인트(sample points)에서 볼륨 데이터의 가시성(alpha/opacity) 및 색상(color)을 샘플링할 수 있다. 집중점 추출 모듈(215-1)은 샘플링된 가시성 및 색상을 혼합하여 화면에 표시될 볼륨의 색상을 결정할 수 있다. 집중점 추출 모듈(215-1)은 샘플링된 색상들을 혼합할 때, 레이의 원점에 가까운 점부터 먼 점까지 가시성을 누계하는 과정을 거치게 되는데, 이를 그래프로 표현하면 그래프의 도함수(빨간색 그래프)가 국부 최대값인 지점들(점선)을 집중점으로 정의할 수 있다. 즉, 집중점 추출 모듈(215-1)은 각 레이마다 최대 하나의 집중점만을 추출할 수 있다. 집중점 추출 모듈(215-1)은 레이 방향을 따라 가시성을 누계하는 과정에서 새로운 국부 최대값이 발견되면, 일정 확률, 예를 들어 30%의 확률로 출력할 집중점을 새로운 국부 최대값으로 변경할 수 있다. 집중점 추출 모듈(215-1)은 이러한 방법을 통해 레이 하나당 최대 하나의 집중점만 추출하기 때문에, GPU 가속이 용이할 수 있다.
집중점 추출 모듈(215-1)은 복수의 전체 집중점들을 RGB 텍스처로 부호화하여 집중점 텍스처 복호화 모듈(211-51)로 출력할 수 있다.
볼륨 렌더링 모듈(215-3)은 볼륨 데이터 및/또는 가상 위젯 배열을 이용하여 가상 위젯에 의해 부분적인 가시성 및 색상이 변경된 볼륨 데이터를 직접 볼륨 렌더링을 통해 볼륨 렌더링 이미지를 생성할 수 있다. 직접 볼륨 렌더링 모듈(215-3)은 볼륨 렌더링 이미지를 터치 스크린(100)으로 전송할 수 있다.
가상 위젯 시각화 모듈(215-5)은 가상 위젯 배열에 저장된 정보를 렌더링하여 가상 위젯 렌더링 이미지를 생성할 수 있다. 가상 위젯 시각화 모듈(215-5)은 가상 위젯 렌더링 이미지를 터치 스크린(100)으로 전송할 수 있다.
도 9는 인터페이스 장치가 복수의 관심 집중점들을 관심 집중점 배열로 저장하는 동작을 설명하기 위한 도면이고, 도 10은 집중점을 저장하는 공간 자료 구조를 시각화한 일 예를 나타낸다.
사용자 입력 처리기(211-1)는 사용자의 상호 작용인 터치 입력을 스케치라고 판단하면, 집중점 처리기(211-5)로 집중점 쿼리를 초기화하는 요청을 보낼 수 있다(910 및 915).
집중점 처리기(211-5)는 GPU(215)로부터 복수의 부호화된 전체 집중점들을 수신할 수 있다(920).
집중점 처리기(211-5)는 복수의 부호화된 전체 집중점들을 복호화할 수 있다(925).
집중점 처리기(211-5)는 복수의 복호화된 전체 집중점들을 효율적인 검색을 위해 Octree, kd-tree와 같은 공간 자료 구조에 저장할 수 있다(930). 예를 들어, 집중점 처리기(211-5)는 도 8 과 같은 공간 자료 구조로 복수의 복호화된 전체 집중점들을 저장할 수 있다.
사용자의 스케치가 진행되는 동안, 사용자 입력 처리기(211-1)는 사용자의 터치 입력을 이용하여 사용자가 터치한 위치 부근의 집중점을 검색하는 쿼리를 집중점 처리기(211-5)로 출력할 수 있다(935 및 940).
집중점 처리기(211-5)는 쿼리에 따라 공간 자료 구조로부터 집중점을 검색할 수 있다. 집중점 처리기(211-5)는 사용자가 터치한 위치 부근의 집중점을 복수의 관심 집중점들로 선택할 수 있다. 집중점 처리기(211-5)는 복수의 관심 집중점들을 사용자 입력 처리기(211-1)로 출력할 수 있다(945).
사용자 입력 처리기(211-1)는 복수의 관심 집중점들을 도 9와 같은 관심 집중점 배열에 저장할 수 있다(950 및 955).
도 11 내지 도 16는 인터페이스 장치가 가상 위젯을 생성하는 동작을 설명하기 위한 도면이다.
사용자 입력 처리기(211-1)는 사용자의 터치 스크린(100)과의 상호 작용인 터치 입력이 없는 것을 감지하면, 집중점 처리기(211-5)의 집중점 쿼리 핸들러(211-55)로부터 복수의 전체 집중점들의 위치 및 볼륨(1200) 상의 복수의 관심 집중점들(1300)의 위치를 수신할 수 있다(1110 및 1120).
사용자 입력 처리기(211-1)는 복수의 관심 집중점들(1300)의 위치를 관심 집중점 배열로 저장할 수 있다(1130). 예를 들어, 사용자 입력 처리기(211-1)는 관심 집중점 배열로 저장하기 위한 복수의 관심 집중점들(1300)의 위치를 결정하기 위하여 PCA(Principal component analysis), CNN(Convolutional neural network) 등을 이용할 수 있다.
사용자 입력 처리기(211-1)는 관심 집중점 배열에 따라 가상 위젯의 타입을 결정할 수 있다(1140). 예를 들어, 사용자 입력 처리기(211-1)는 관심 집중점 배열이 직선 형태일 때 가상 위젯의 타입을 웨지 위젯(1400)으로 결정할 수 있다. 웨지 위젯(1400)은 쐐기 모양으로 볼륨을 잘라 내부를 볼 수 있는 구형 위젯을 의미할 수 있다. 사용자 입력 처리기(211-1)는 관심 집중점 배열이 원형인 때 가상 위젯의 타입을 아이리스 위젯(1500)으로 결정할 수 있다. 아이리스 위젯(1500)은 원뿔 모양으로 볼륨을 잘라 내부를 볼 수 있는 구형 위젯을 의미할 수 있다.
사용자 입력 처리기(211-1)는 관심 집중점 배열에 저장된 정보를 이용하여 사용자의 관심 부위(Interest region)를 결정할 수 있다. 사용자 입력 처리기(211-1)는 복수의 전체 집중점들의 위치, 및 관심 집중점 배열을 이용하여 새로 생성할 가상 위젯의 크기 및 위치를 결정할 수 있다(1150 및 1160).
사용자 입력 처리기(211-1)는 가상 위젯의 크기, 위치 및 타입에 따라 가상 위젯(1600)을 생성할 수 있다(1170). 예를 들어, 사용자 입력 처리기(211-1)는 가상 위젯(1600) 생성 시 관심 부위 기반 RANSAC(ROI-based RANSAC)을 이용할 수 있다.
사용자 입력 처리기(211-1)는 생성된 가상 위젯(1600)에 대한 정보를 가상 위젯 배열에 저장할 수 있다(1180 및 1190).
도 17은 인터페이스 장치의 편집 모드에서 인터페이스 장치가 사용자의 상호 작용에 의해 가상 위젯을 편집 또는 삭제하는 동작을 설명하기 위한 도면이다.
인터페이스 장치(200)는 편집 모드에서 사용자가 가상 위젯의 열린 정도를 조절하고, 완전히 닫아서 위젯을 삭제할 수 있도록 인터페이스를 제공할 수 있다. 인터페이스 장치(200)는 편집 모드에서 사용자가 가상 위젯을 조절할 수 있는 값을 그래픽적 요소로 시각화하여 직관적으로 가상 위젯을 조절할 수 있도록 제공할 수 있다.
이를 위해서, 인터페이스 장치(200)는 가상 위젯의 경계면(1710 및/또는 1750)을 강조하여 사용자가 경계를 끌어당기는 식으로 가상 위젯의 열린 정도만을 조절할 수 있는 인터페이스를 제공할 수 있다. 인터페이스 장치(200)는 사용자가 강조된 가상 위젯의 제1 경계면 및/또는 제2 경계면(1710 및/또는 1750)을 터치하면, 카메라에서 제1 지점 및/또는 제2 지점(1711 및/또는 1751) 방향으로 레이를 생성하여 가상 위젯의 경계면(1710 및/또는 1750) 부근을 터치했는지 확인할 수 있다.
인터페이스 장치(200)는 사용자가 가상 위젯의 경계면(1710 및/또는 1750)을 터치한 채로 드래그를 수행할 경우 가상 위젯의 열린 정도를 조절하여 제공할 수 있다.
인터페이스 장치(200)는 관찰 모드에서 볼륨을 회전하는 것처럼 가상 위젯의 경계면(1710 및/또는 1750) 위의 충돌점이 터치 포인터에 달라붙은 것처럼 가상 위젯의 열린 정도를 조절하여 제공할 수 있다. 인터페이스 장치(200)는 사용자가 가상 위젯의 경계면(1710 및/또는 1750)을 맞닿게 하여 열린 정도를 완전히 없애면 가상 위젯을 삭제할 수 있다.
도 18은 사용자 입력 처리기가 가상 위젯을 변형하는 과정을 설명하기 위한 도면이다.
상호 작용 분류 모듈(211-11)은 사용자의 상호 작용이 스케치 입력인지 가상 위젯 편집 입력인지를 판단할 수 있다(1810). 예를 들어, 가상 위젯 편집 입력은 사용자가 가상 위젯의 서로 다른 지점인 제1 경계면(1710)의 제1 지점(1711) 및 제2 경계면(1750)의 제2 지점(1751)을 터치한 채로 드래그(1715 및/또는 1755)함으로써 입력될 수 있다.
상호 작용 분류 모듈(211-11)은 사용자의 상호 작용이 가상 위젯 편집 입력인 경우 사용자의 상호 작용을 가상 위젯 편집 모듈(211-17)로 출력할 수 있다(1820).
가상 위젯 편집 모듈(211-17)은 사용자의 상호 작용 및 가상 위젯 배열에 기초하여 사용자가 변형하려는 타겟 가상 위젯을 검색할 수 있다(1830 및 1840).
가상 위젯 편집 모듈(211-17)은 사용자의 상호 작용이 지속되는 동안, 사용자의 상호 작용인 터치 입력에 대한 위치 정보를 이용하여 타겟 가상 위젯의 상태(예를 들어, 타겟 가상 위젯의 가시성 및 색상 등)를 변경할 수 있다(1850 내지 1880).
도 19는 그래픽 렌더링기의 동작을 설명하기 위한 도면이다.
GPU(215)는 가상 위젯 배열 및 볼륨 데이터를 이용하여 가상 위젯 렌더링 이미지를 생성할 수 있다(1910). GPU(215)는 가상 위젯 렌더링 이미지를 터치 스크린(100)으로 전송할 수 있다(1920).
GPU(215)는 가상 위젯에 의한 부분적인 가시성 및 색상 변경을 볼륨 데이터에 적용할 수 있다(1930).
GPU(215)는 가상 위젯에 의해 부분적인 가시성 및 색상이 변경된 볼륨 데이터를 직접 볼륨 렌더링으로 시각화한 볼륨 렌더링 이미지를 생성할 수 있다(1940). 예를 들어, GPU(215)는 볼륨 데이터 렌더링 및 가상 위젯 렌더링에 HLSL(High Level Shading Language)을 이용할 수 있다.
GPU(215)는 볼륨 렌더링 이미지를 터치 스크린(100)으로 전송할 수 있다(1950). 터치 스크린(100)은 가상 위젯 렌더링 이미지 및 볼륨 렌더링 이미지를 이용하여 가상 위젯 및 가상 위젯에 의해 부분적인 가시성 및 색상이 변경된 볼륨을 디스플레이할 수 있다(1960).
GPU(215)는 볼륨 데이터에서 복수의 전체 집중점들을 획득할 수 있다(1970).
GPU(215)는 복수의 전체 집중점들을 RGB 텍스처로 부호화할 수 있다(1980).
GPU(215)는 복수의 부호화된 전체 집중점들을 집중점 처리기(211-5)로 출력할 수 있다(1990).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 볼륨 데이터를 시각화하여 사용자와 상호 작용하는 인터페이스 방법에 있어서,
    상기 볼륨 데이터를 이용하여 디스플레이되는 볼륨에 대한 상기 사용자의 제1 상호 작용을 수신하는 단계;
    상기 사용자의 제1 상호 작용에 기초하여 상기 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 상기 볼륨 상에 생성하는 단계; 및
    상기 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 부분적으로 가시화하는 단계
    를 포함하는 인터페이스 방법.
  2. 제1항에 있어서,
    상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득하는 단계; 및
    상기 복수의 전체 집중점들을 공간 자료 구조에 저장하는 단계
    를 더 포함하는 인터페이스 방법.
  3. 제2항에 있어서,
    상기 저장하는 단계는,
    상기 복수의 전체 집중점들을 RGB 텍스처로 부호화하는 단계; 및
    복수의 부호화된 전체 집중점들을 복호화하여 상기 공간 자료 구조에 저장하는 단계
    를 포함하는 인터페이스 방법.
  4. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 사용자의 제1 상호 작용에 대응하는 상기 볼륨 상의 스케치 위치를 획득하는 단계;
    상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들 중에서 상기 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택하는 단계;
    상기 복수의 관심 집중점들 및 상기 복수의 전체 집중점들을 이용하여 상기 가상 위젯의 크기 및 위치를 결정하는 단계;
    상기 제1 상호 작용의 형태에 따라 상기 가상 위젯의 타입을 결정하는 단계; 및
    상기 크기, 상기 위치, 및 상기 타입에 따라 상기 가상 위젯을 생성하는 단계
    를 포함하는 인터페이스 방법.
  5. 제4항에 있어서,
    상기 가상 위젯의 타입을 결정하는 단계는,
    상기 사용자의 제1 상호 작용이 직선 형태인 때 상기 가상 위젯의 타입을 웨지(wedge) 위젯으로 결정하는 단계
    를 포함하는 인터페이스 방법.
  6. 제4항에 있어서,
    상기 가상 위젯의 타입을 결정하는 단계는,
    상기 사용자의 제1 상호 작용이 원 형태인 때 상기 가상 위젯의 타입을 아이리스(iris) 위젯으로 결정하는 단계
    를 포함하는 인터페이스 방법.
  7. 제1항에 있어서,
    상기 가상 위젯에 대한 상기 사용자의 제2 상호 작용을 수신하는 단계;
    상기 사용자의 제2 상호 작용에 기초하여 상기 가상 위젯을 변형하는 단계; 및
    변형된 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 가시화하는 단계
    를 더 포함하는 인터페이스 방법.
  8. 제7항에 있어서,
    상기 제2 상호 작용은,
    상기 사용자가 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 입력되는
    인터페이스 방법.
  9. 제8항에 있어서,
    상기 사용자의 제2 상호 작용이 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 상기 서로 다른 지점의 경계면이 일치하는 때, 상기 가상 위젯을 삭제하는 단계
    를 더 포함하는 인터페이스 방법.
  10. 제4항에 있어서,
    상기 생성하는 단계는,
    상기 가상 위젯에 대한 정보를 가상 위젯 배열에 저장하는 단계; 및
    상기 가상 위젯 배열에 저장된 정보를 렌더링하여 상기 가상 위젯에 대한 가상 위젯 렌더링 이미지를 생성하는 단계
    를 포함하는 인터페이스 방법.
  11. 볼륨 데이터를 시각화하여 사용자와 상호 작용하는 인터페이스를 위한 인스트럭션들을 저장하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 컨트롤러
    를 포함하고,
    상기 인스트럭션들이 상기 컨트롤러에 의해 실행될 때, 상기 컨트롤러는,
    상기 볼륨 데이터를 이용하여 디스플레이되는 볼륨에 대한 상기 사용자의 제1 상호 작용을 수신하고,
    상기 사용자의 제1 상호 작용에 기초하여 상기 볼륨 상에 디스플레이될 상기 볼륨의 내부의 시각화를 제어하기 위한 가상 위젯을 생성하고,
    상기 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 부분적으로 가시화하는
    인터페이스 장치.
  12. 제11항에 있어서,
    상기 컨트롤러는,
    상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들을 획득하고,
    상기 복수의 전체 집중점들을 공간 자료 구조에 저장하는
    인터페이스 장치.
  13. 제12항에 있어서,
    상기 컨트롤러는,
    상기 복수의 전체 집중점들을 RGB 텍스처로 부호화하고,
    복수의 부호화된 전체 집중점들을 복호화하여 상기 공간 자료 구조에 저장하는
    인터페이스 장치.
  14. 제11항에 있어서,
    상기 컨트롤러는,
    상기 사용자의 제1 상호 작용에 대응하는 상기 볼륨 상의 스케치 위치를 획득하고,
    상기 볼륨 데이터에서 가시성이 증가하는 점들인 복수의 전체 집중점들 중에서 상기 스케치 위치에 상응하는 집중점들을 복수의 관심 집중점들로 선택하고,
    상기 복수의 관심 집중점들 및 상기 복수의 전체 집중점들을 이용하여 상기 가상 위젯의 크기 및 위치를 결정하고,
    상기 제1 상호 작용의 형태에 따라 상기 가상 위젯의 타입을 결정하고,
    상기 크기, 상기 위치, 및 상기 타입에 따라 상기 가상 위젯을 생성하는
    인터페이스 장치.
  15. 제14항에 있어서,
    상기 컨트롤러는,
    상기 사용자의 제1 상호 작용이 직선 형태인 때 상기 가상 위젯의 타입을 웨지(wedge) 위젯으로 결정하는
    인터페이스 장치.
  16. 제14항에 있어서,
    상기 컨트롤러는,
    상기 사용자의 제1 상호 작용이 원 형태인 때 상기 가상 위젯의 타입을 아이리스(iris) 위젯으로 결정하는
    인터페이스 장치.
  17. 제11항에 있어서,
    상기 컨트롤러는,
    상기 가상 위젯에 대한 상기 사용자의 제2 상호 작용을 수신하고,
    상기 사용자의 제2 상호 작용에 기초하여 상기 가상 위젯을 변형하고,
    변형된 가상 위젯에 따라 상기 볼륨 상에서 상기 볼륨의 내부를 가시화하는
    인터페이스 장치.
  18. 제17항에 있어서,
    상기 제2 상호 작용은,
    상기 사용자가 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 입력되는
    인터페이스 장치.
  19. 제18항에 있어서,
    상기 컨트롤러는,
    상기 사용자의 제2 상호 작용이 상기 가상 위젯의 경계면의 서로 다른 지점을 드래그 함으로써 상기 서로 다른 지점의 경계면이 일치하는 때, 상기 가상 위젯을 삭제하는
    인터페이스 장치.
  20. 제14항에 있어서,
    상기 컨트롤러는,
    상기 가상 위젯에 대한 정보를 가상 위젯 배열에 저장하고,
    상기 가상 위젯 배열에 저장된 정보를 렌더링하여 상기 가상 위젯에 대한 가상 위젯 렌더링 이미지를 생성하는
    인터페이스 장치.
KR1020200083527A 2020-07-07 2020-07-07 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치 KR102352985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200083527A KR102352985B1 (ko) 2020-07-07 2020-07-07 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200083527A KR102352985B1 (ko) 2020-07-07 2020-07-07 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220005851A true KR20220005851A (ko) 2022-01-14
KR102352985B1 KR102352985B1 (ko) 2022-01-20

Family

ID=79343001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083527A KR102352985B1 (ko) 2020-07-07 2020-07-07 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102352985B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150113940A (ko) * 2015-09-14 2015-10-08 주식회사 인피니트헬스케어 의료 영상 판독을 지원하기 위한 가상 사용자 인터페이스 장치 및 가상 사용자 인터페이스 제공 방법
JP2016123584A (ja) * 2014-12-26 2016-07-11 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
KR101731593B1 (ko) * 2013-02-08 2017-05-11 주식회사 이우소프트 깊이 변경에 따라 내부 구조를 디스플레이 하는 영상 디스플레이
KR20170126860A (ko) * 2015-03-09 2017-11-20 케어스트림 헬스 인코포레이티드 치과 3d 스캐너를 위한 텍스쳐 매핑의 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731593B1 (ko) * 2013-02-08 2017-05-11 주식회사 이우소프트 깊이 변경에 따라 내부 구조를 디스플레이 하는 영상 디스플레이
JP2016123584A (ja) * 2014-12-26 2016-07-11 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
KR20170126860A (ko) * 2015-03-09 2017-11-20 케어스트림 헬스 인코포레이티드 치과 3d 스캐너를 위한 텍스쳐 매핑의 장치 및 방법
KR20150113940A (ko) * 2015-09-14 2015-10-08 주식회사 인피니트헬스케어 의료 영상 판독을 지원하기 위한 가상 사용자 인터페이스 장치 및 가상 사용자 인터페이스 제공 방법

Also Published As

Publication number Publication date
KR102352985B1 (ko) 2022-01-20

Similar Documents

Publication Publication Date Title
US10366494B2 (en) Image segmentation method and electronic device therefor
RU2479012C2 (ru) Трехмерный теневой указатель мыши
KR102316056B1 (ko) 화상 처리장치, 화상 처리방법 및 프로그램
US10599284B2 (en) Three-dimensional digital modeling with two-dimensional canvas
CN107169919B (zh) 用于3d医学体积的加速读取的方法和系统
JP6635648B2 (ja) 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法
US10949698B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
JP6539303B2 (ja) ３ｄ医用画像中の対象物を分割するための３ｄ対象物の変換
CN107111875B (zh) 用于多模态自动配准的反馈
US10950056B2 (en) Apparatus and method for generating point cloud data
KR20020041290A (ko) 3차원 슬랩 렌더링 시스템 및 그 방법
US11170246B2 (en) Recognition processing device, recognition processing method, and program
KR101908126B1 (ko) 다중 의료영상 분석 시스템 및 방법
KR102352985B1 (ko) 터치 스크린 기반의 가상 위젯을 통한 볼륨 데이터 시각화 인터페이스 방법 및 장치
KR20230005312A (ko) 평면도를 생성하기 위한 방법 및 장치
JP5122650B2 (ja) 経路近傍レンダリング
JP7373484B2 (ja) ボリュメトリック画像データのボリュームレンダリング
JP2017006296A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CN107329669B (zh) 在人体医学三维模型中选择人体子器官模型的方法及装置
EP3316223A1 (en) Visualization system and method for 3d scenes
KR20150111541A (ko) 의료 영상으로부터 대표 영상을 추출하는 방법
KR102636217B1 (ko) 가중 국소변환을 이용한 3차원 데이터 증강 방법 및 이를 위한 장치
KR101138969B1 (ko) 고속 구동을 위한 3차원 투과 영상데이터의 액세스 방법 및 이를 위한 사용자 인터페이스 장치
US20240118796A1 (en) Click based contour editing
Lupescu et al. Eagle Eye-Romania 3d Map Feature Extraction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right