KR102285339B1 - 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법 - Google Patents

증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법 Download PDF

Info

Publication number
KR102285339B1
KR102285339B1 KR1020200019283A KR20200019283A KR102285339B1 KR 102285339 B1 KR102285339 B1 KR 102285339B1 KR 1020200019283 A KR1020200019283 A KR 1020200019283A KR 20200019283 A KR20200019283 A KR 20200019283A KR 102285339 B1 KR102285339 B1 KR 102285339B1
Authority
KR
South Korea
Prior art keywords
virtual image
augmented reality
image
based interface
screen
Prior art date
Application number
KR1020200019283A
Other languages
English (en)
Inventor
최동수
김용규
김덕수
이석한
김대건
김상연
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020200019283A priority Critical patent/KR102285339B1/ko
Application granted granted Critical
Publication of KR102285339B1 publication Critical patent/KR102285339B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법은, 스크린, 및 상기 스크린이 배치되는 액추에이터부를 포함하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법에 있어서, 3차원 가상 이미지의 표면 높이 정보를 추출하는 표면 높이 추출 단계, 상기 표면 높이 정보를 기반으로 상기 액추에이터부의 높이를 조절하는 액추에이터 높이 조절 단계, 상기 3차원 가상 이미지의 표면 이미지를 추출하는 표면 이미지 추출 단계, 및 상기 표면 이미지를 상기 스크린에 투사하는 이미지 투사 단계를 포함한다.

Description

증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법{3D VIRTUAL IMAGE OUTPUT METHOD USING AUGMENTED REALITY BASED INTERFACE}
본 발명은 증강현실 기반 인터페이스에 관한 것으로, 일례로 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법에 관한 것이다.
증강현실(Augmented Reality)이란, 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강현실은 사용자가 눈으로 보는 현실세계와 부가 정보를 갖는 가상 세계를 합쳐서 보여주는 가상현실의 한 종류이다. 현실세계에 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality)라고도 한다. 즉, 사용자가 보고 있는 현실의 영상에 3차원의 가상 이미지를 오버랩하여 보여줌으로써 현실과 가상의 구분이 모호해지도록 하는 것이다.
이러한 증강현실의 경우, 대부분 디스플레이 화면 내에서 가상 이미지와 실제 환경이 혼합 표현되고 있는데, 사용자가 입체적으로 느끼기에는 다소 부족한 부분이 있다.
대한민국 공개특허공보 제10-2019-0117193호
이에 본 발명은 상기한 사정을 감안하여 안출된 것으로, 디스플레이 화면 밖 실제 환경과 어우러져서 보다 입체적인 3차원 가상 이미지를 사용자에게 보여줄 수 있는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법은, 스크린, 및 상기 스크린이 배치되는 액추에이터부를 포함하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법에 있어서, 3차원 가상 이미지의 표면 높이 정보를 추출하는 표면 높이 추출 단계; 상기 표면 높이 정보를 기반으로 상기 액추에이터부의 높이를 조절하는 액추에이터 높이 조절 단계; 상기 3차원 가상 이미지의 표면 이미지를 추출하는 표면 이미지 추출 단계; 및 상기 표면 이미지를 상기 스크린에 투사하는 이미지 투사 단계;를 포함한다.
상기 스크린에 대응하는 가상의 제1 격자 평면과, 상기 제1 격자 평면에 평행하고 소정 간격 이격되는 가상의 제2 격자 평면을 생성하는 초기화 단계를 더 포함할 수 있다.
상기 3차원 가상 이미지를 입력받는 가상 이미지 입력 단계를 더 포함할 수 있다.
상기 가상 이미지 입력 단계는, 상기 3차원 가상 이미지를 상기 제1 격자 평면과 상기 제2 격자 평면 사이에 배치할 수 있다.
상기 표면 높이 추출 단계는, 상기 제2 격자 평면에서 가상의 광선을 상기 제1 격자 평면을 향해 투사할 수 있다.
상기 표면 높이 추출 단계는, 상기 광선이 상기 3차원 가상 이미지를 만나는 지점과 상기 제1 격자 평면 사이의 거리를 통해 상기 표면 높이 정보를 추출할 수 있다.
상기 표면 높이 정보를 이용하여 상기 액추에이터부의 높이 정보를 산출하는 액추에이터 높이 정보 산출 단계를 더 포함할 수 있다.
상기 액추에이터 높이 정보 산출 단계는, 제1 격자 평면과 제2 격자 평면 사이의 거리 정보, 상기 액추에이터부의 최대 높이 정보, 및 상기 표면 높이 정보를 이용하여 상기 액추에이터의 높이 정보를 산출할 수 있다.
상기 표면 이미지 추출 단계는, 가상의 카메라를 이용하여 상기 3차원 가상 이미지의 표면 이미지를 추출 할 수 있다.
상기 표면 이미지 추출 단계는, 상기 표면 이미지를 추출할 때 상기 제1 격자 평면을 영상 처리할 수 있다.
상기 스크린의 크기에 맞춰 상기 표면 이미지의 크기를 보정하는 크기 보정 단계를 더 포함할 수 있다.
상기 스크린은, 상기 액추에이터부의 높이 조절에 따라 굴곡지게 변형되는 재질로 형성될 수 있다.
상기 액추에이터부는, 상기 액추에이터부의 높이 정보에 따라 개별적으로 높이 조절되는 복수의 액추에이터 장치를 포함할 수 있다.
본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법에 의하면, 2차원 가상 이미지가 투영되는 증강현실 기반 인터페이스의 표면 높이를 3차원 가상 이미지의 표면 높이 정보를 고려하여 부분적으로 조절함으로써 디스플레이 화면 밖 실제 환경과 어울려져서 보다 입체적인 3차원 가상 이미지를 사용자에게 보여줄 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 3차원 가상 이미지 출력 시스템의 개략적인 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스의 구성 설명을 위한 도면이다.
도 3은 가상 이미지의 표면 높이 추출 방법을 설명하기 위한 도면이다.
도 4는 가상 이미지의 표면 높이 추출 결과와 가상 이미지의 표면 추출 결과를 보여주는 도면이다.
도 5는 증강현실 기반 인터페이스에 표시되는 가상 이미지를 보여주는 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법의 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 3차원 가상 물체 출력 시스템의 개략적인 구성도이다.
도 1을 참고하면, 본 발명의 바람직한 실시예에 따른 3차원 가상물체 출력 시스템(10)은, 디스플레이 화면 밖 실제 환경과 어우러지는 증강현실 가상 이미지를 출력하기 위한 것으로서, 증강현실 기반 인터페이스(100), 광출력장치(200), 및 제어부(300)를 포함한다.
증강현실 기반 인터페이스(100)는, 증강현실 3차원 가상 이미지를 사용자에게 보다 입체적으로 보여주기 위한 장치이다. 증강현실 기반 인터페이스(100)는 2차원 가상 이미지가 투영되는 스크린(110)을 구비할 수 있다. 일 실시예에 있어서, 스크린(110)은 평상시 평평한 형태로 배치되는 천 재질의 백색 스크린일 수 있다. 다른 실시예에 있어서, 스크린(110)은 필요시 휘어지거나 접힐 수 있는 플렉서블 디스플레이(flexible display)일 수 있다. 또 다른 실시예에 있어서, 스크린(110)은 필요시 탄력적으로 늘어날 수 있는 스트레처블 디스플레이(stretchable display)일 수도 있다.
증강현실 기반 인터페이스(100)는 스크린(110)이 부분적으로 굴곡질 수 있도록 하는 액추에이터가 설치될 수 있다. 증강현실 기반 인터페이스(100)의 상세 구성 설명은 도 2를 통해 후술한다.
광출력장치(200)는 2차원 가상 이미지를 투사하는 단초점 렌즈 빔 프로젝터(Beam Projector)일 수 있다. 광출력장치(200)는 증강현실 기반 인터페이스(100)의 스크린(110)을 마주보도록 배치될 수 있다. 광출력장치(200)는 제어부(300)로부터 전달받은 2차원 가상 이미지를 스크린(110)에 투사할 수 있다.
제어부(300)는 스크린(110)에 투사하기 위한 2차원 가상 이미지를 생성하여 광출력장치(200)에 전달할 수 있다. 제어부(300)는 컴퓨터의 중앙처리장치(CPU, Central Processing Unit)일 수 있으나, 이에 한정되는 것은 아니다. 제어부(300)는 소정 물체에 대한 3차원 가상 이미지를 입력받을 수 있다. 여기서, 소정 물체는 현실 세계의 물체를 촬영하여 획득되거나, 가상 세계에서 별도의 이미지 제작 프로그램에 의해 제작된 것일 수 있다. 제어부(300)는 3차원 가상 이미지를 가공하여 상술한 바 있는 2차원 가상 이미지를 생성할 수 있다. 2차원 가상 이미지의 생성 과정은 도 3을 통해 후술한다.
도 2는 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스의 구성 설명을 위한 도면이다.
도 2를 참고하면, 증강현실 기반 인터페이스(100)는 제어보드(120)와, 액추에이터부(130)를 포함할 수 있다.
제어보드(120)는 액추에이터부(130)와의 전기적 연결을 위한 전기 배선이 배열된 보드일 수 있다. 제어보드(120)는 액추에이터(130)의 구동을 제어하는 콘트롤러(미도시)가 구비될 수 있다. 제어보드(120)는 액추에이터(130) 구동을 위한 전기 신호를 제어부(300)로부터 전달받을 수 있는 통신부(미도시)가 구비될 수 있다. 제어보드(120)는 유무선으로 제어부(300)와 통신 연결될 수 있다.
액추에이터부(130)는 제어보드(120)의 전기적 신호에 응답하여 상하 높이가 조절되는 복수의 액추에이터 장치(131)를 포함할 수 있다. 복수의 액추에이터 장치(131)는 제어보드(120)의 상면에 기계적 및 전기적으로 결합할 수 있다.
복수의 액추에이터 장치(131)는 제어보드(120)의 상면에 일정 간격을 가지도록 배열될 수 있다. 복수의 액추에이터 장치(131)는 상하 높이 조절이 가능하게 구성될 수 있다. 복수의 액추에이터 장치(131)는 개별적으로 상하 높이가 조절되는 것이 바람직하다. 일 실시예에 있어서, 복수의 액추에이터 장치(131)는 회전력을 발생하는 모터, 모터의 회전력에 의해 상하 이동되는 이동부, 및 이동부의 일단에 형성되는 상판을 포함할 수 있다. 액추에이터 장치(131)의 상판에는 스크린(110)이 배치될 수 있다. 복수의 액추에이터 장치(131)의 구성은 상기한 예에 한정되는 것은 아니다.
상술한 바와 같이 구성된 증강현실 기반 인터페이스(100)는 복수의 액추에이터 장치(131)의 개별적인 움직임을 통해 스크린(110)을 굴곡지게 변형시킬 수 있다. 증강현실 기반 인터페이스(100)는 굴곡지게 변형된 스크린(110)에 2차원 가상 이미지가 투영되는 경우, 디스플레이 화면 밖 실제 환경과 어우러지는 3차원 가상 이미지를 구현할 수 있다.
본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 시스템(10)은, 광출력장치(200)가 여러 개 구비되어 다양한 각도에서 2차원 가상 이미지를 스크린(110)에 투사하도록 구현될 수 있다.
또한, 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 시스템(10)은, 홀로렌즈와 같은 AR 디스플레이 장치에서 물체를 표현하는 시스템으로 확장될 수 있다.
도 3은 가상 이미지의 표면 높이 추출 방법을 설명하기 위한 도면이다.
도 3을 참고하면, 액추에이터부(100)의 높이 조절에 이용될 3차원 가상 이미지의 표면 높이 추출 방법을 확인할 수 있다.
먼저 제어부(300)는 가상의 공간에 가상의 제1 격자 평면(GP1)과 가상의 제2 격자 평면(GP2)을 생성한다. 이때 제1 격자 평면(GP1)은 복수의 액추에이터 장치(131) 각각의 위치에 대응하는 복수의 격자가 형성될 수 있다. 제2 격자 평면(GP2)은 제1 격자 평면(GP1)과 동일한 형태를 가지도록 형성되되, 제1 격자 평면(GP1)으로부터 소정 간격 이격되고 평행하게 배치될 수 있다. 제2 격자 평면(GP2)의 격자에는 가상의 광선 출력 장치가 배치될 수 있다.
제어부(300)는 3차원 가상 이미지(IM)를 입력받고 3차원 가상 이미지(IM)를 가상의 공간에 배치할 수 있다. 이때 3차원 가상 이미지(IM)는 제1 격자 평면(GP1)과 제2 격자 평면(GP2)에 배치될 수 있다. 또한, 3차원 가상 이미지(IM)는 제1 격자 평면(GP1)을 관통 위치할 수 있으나, 이에 한정되는 것은 아니다.
제어부(300)는 제2 격자 평면(GP2)의 격자에서 가상의 광선(RAY)을 제1 격자 평면(GP1)에 수직하게 투사할 수 있다. 제어부(300)는 광선(RAY)이 맞닿는 3차원 가상 이미지(IM)의 표면과 제1 격자 평면(GP1) 사이의 거리를 추출할 수 있다. 이하, 3차원 가상 이미지(IM)의 표면과 제1 격자 평면(GP1) 사이의 거리는 표면 높이 정보로 정의한다.
제어부(300)는 3차원 가상 이미지(IM)의 표면 높이 정보를 이용하여 복수의 액추에이터 장치(131)의 높이 정보를 계산할 수 있다. 복수의 액추에이터 장치(131)의 높이 정보는 하기 수학식 1에 따라 계산될 수 있다.
<수학식 1>
a:b=c:d
수학식 1에서, a는 제1 격자 평면(GP1)과 제2 격자 평면(GP2) 사이의 거리를 나타내고, b는 액추에이터 장치(131)의 최대 높이를 나타내고, c는 3차원 가상 이미지(IM)의 표면 높이 정보를 나타내고, d는 복수의 액추에이터 장치(131)의 높이 정보를 나타낸다.
제어부(300)는, 미리 설정된 a, b와 추출된 c를 수학식 1에 적용함으로써 복수의 액추에이터 장치(131)의 높이 정보(d)를 산출할 수 있다. 여기서, 높이 정보(d)는 복수의 액추에이터 장치(131)의 개수만큼 산출될 수 있다. 제어부(300)는 높이 정보(d)를 제어보드(120)에 전달함으로써 복수의 액추에이터 장치(131)의 높이를 제어할 수 있다.
제어부(300)는 가상의 카메라를 이용하여 3차원 가상 이미지(IM)의 표면 이미지를 촬영할 수 있다. 여기서, 가상의 카메라는 액추에이터부(100)의 스크린(110)을 마주보도록 배치된 광출력장치(200)에 대응하는 위치에 형성되는 것이 바람직하다. 제어부(300)는 가상의 카메라 이용시, 제1 격자 평면(GP1)을 영상 처리하여 제1 격자 평면(GP1)을 관통한 3차원 가상 이미지(IM)의 소정 부분이 촬영되지 않도록 한다. 이를 통해 제어부(300)는 제1 격자 평면(GP1)을 관통한 3차원 가상 이미지(IM)의 소정 부분이 제거된 3차원 가상 이미지(IM)의 표면 이미지를 획득할 수 있다. 여기서, 3차원 가상 이미지(IM)의 표면 이미지는 2차원 가상 이미지로 정의될 수 있다.
도 4는 가상 이미지의 표면 높이 추출 결과와 표면 이미지 추출 결과를 보여주는 도면이다.
도 4를 참고하면, 3차원 가상 이미지(IM)는 공, 지형, 동상 형태의 이미지를 포함할 수 있다. 제어부(300)는 공, 지형, 동상 형태의 이미지 각각으로부터 표면 높이 정보를 추출할 수 있다. 여기서, 제1 격자 평면(GP1)은 도 3과 달리 세로로 세워져 배치될 수 있다. 광선과 공, 지형, 동상 형태의 이미지가 만나는 지점은 정육면체 형태로 나타날 수 있다. 제어부(300)는 공, 지형, 동상 형태의 이미지 각각의 표면 이미지를 추출할 수 있다. 이를 통해 제어부(300)는 액추에이터부(100)의 스크린(110)에 투영할 2차원 가상 이미지를 생성할 수 있다.
도 5는 증강현실 기반 인터페이스에 표시되는 가상 이미지를 보여주는 도면이다.
도 5를 참고하면, 증강현실 기반 인터페이스(100)의 스크린(110)에 투영된 2차원 가상 이미지를 확인할 수 있다. 여기서, 2차원 가상 이미지는 광출력장치(200)에 의해 스크린(110)에 투사되어 나타날 수 있다. 복수의 액추에이터 장치(131)는 도 5에 자세히 나타나 있지 않지만, 액추에이터 장치의 높이 정보에 따라 개별적으로 높이가 조절된 상태이다. 이를 통해 스크린(110)이 굴곡진 형태로 입체적으로 변형될 수 있다. 스크린(110)에 투영된 2차원 가상 이미지는 사용자가 보았을 때 디스플레이 화면 밖 실제 환경과 어울리는 입체적인 3차원 이미지 형태로 구현될 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법의 순서도이다.
도 1, 및 도 6을 참고하면, 본 발명의 바람직한 실시예에 따른 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법은, 초기화 단계(S310), 가상 이미지 입력 단계(S320), 표면 높이 추출 단계(S330), 액추에이터 높이 정보 산출 단계(S340), 액추에이터 높이 조절 단계(S350), 표면 이미지 추출 단계(S360), 크기 보정 단계(S370), 및 이미지 투사 단계(S380)를 포함할 수 있다.
초기화 단계(S310)에서, 제어부(300)는 증강현실 기반 인터페이스(100)의 스크린(110)에 대응하는 가상의 제1 격자 평면(GP1)과, 제1 격자 평면에 평행하고 소정 간격 이격되는 가상의 제2 격자 평면(GP2)을 생성한다. 제1 격자 평면(GP1)은 복수의 액추에이터 장치(131) 각각의 위치에 대응하는 복수의 격자가 형성될 수 있다. 일 실시예에 있어서, 제어부(300)는 제1 격자 평면(GP1)과 제2 격자 평면(GP2)을 생성하는 격자 평면 생성 프로그램이 설치될 수 있다.
가상 이미지 입력 단계(S320)에서, 제어부(300)는 3차원 가상 이미지(IM)를 입력받을 수 있다. 여기서, 3차원 가상 이미지(IM)는 실제 물체를 촬영하여 획득되거나, 이미지 제작 프로그램을 통해 제작될 수 있다. 제어부(300)는 3차원 가상 이미지(IM)를 제1 격자 평면(GP1)과 제2 격자 평면(GP2) 사이에 배치할 수 있다. 이때 3차원 가상 이미지(IM)는 제1 격자 평면(GP1)을 관통 위치할 수 있으나 이에 한정되는 것은 아니다.
표면 높이 추출 단계(S330)에서, 제어부(300)는 제2 격자 평면(GP2)에서 제1 격자 평면(GP1)을 향해 가상의 광선(RAY)을 투사한다. 제어부(300)는 광선(RAY)이 3차원 가상 이미지(IM)를 만나는 지점과 제1 격자 평면(GP1) 사이의 거리를 통해 3차원 가상 이미지(IM)의 표면 높이 정보를 추출할 수 있다.
액추에이터 높이 정보 산출 단계(S340)에서, 제어부(300)는 미리 설정된 제1 격자 평면(GP1)과 제2 격자 평면(GP2) 사이의 거리 정보, 액추에이터부(100)의 최대 높이 정보, 및 S330 단계에서 추출된 3차원 가상 이미지(IM)의 표면 높이 정보를 이용하여 액추에이터부(100)의 높이 정보를 산출한다.
액추에이터 높이 조절 단계(S350)에서, 제어부(300)는 산출된 액추에이터부(100)의 높이 정보를 이용하여 액추에이터부(100)의 높이를 조절한다. 이때 액추에이터부(100)의 높이 조절에 의해 스크린(110)이 굴곡지게 변형된다.
표면 이미지 추출 단계(S360)에서, 제어부(300)는 가상의 카메라를 이용하여 3차원 가상 이미지(IM)의 표면 이미지(2차원 가상 이미지)를 추출한다. 이때 제1 격자 평면(GP1)은 영상 처리되어 제1 격자 평면(GP1)을 관통한 3차원 가상 이미지(IM)의 소정 부분이 추출된 표면 이미지에서 제외될 수 있다.
크기 보정 단계(S370)에서, 제어부(300)는 3차원 가상 이미지(IM)로부터 추출된 표면 이미지의 크기를 스크린(110) 크기에 맞춰 보정한다.
이미지 투사 단계(S380)에서, 제어부(300)는 광출력장치(200)를 제어하여 3차원 가상 이미지(IM)의 표면 이미지를 스크린(110)에 투사한다. 이때 스크린(110)에는 2차원 가상 이미지가 투영되나, 액추에이터부(100)의 높이 조절에 따라 스크린(110)이 굴곡지게 변형된 상태이므로, 사용자가 볼 때 입체적인 3차원 가상 이미지가 스크린(110) 상에 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명에 따른 단계들 및/또는 동작들은 기술분야의 통상의 기술자에 의해 이해될 수 있는 것과 같이, 다른 순서로, 또는 병렬적으로, 또는 다른 에포크(epoch) 등을 위해 다른 실시 예들에서 동시에 일어날 수 있다.
실시 예에 따라서는, 단계들 및/또는 동작들의 일부 또는 전부는 하나 이상의 비-일시적 컴퓨터-판독가능 매체에 저장된 명령, 프로그램, 상호작용 데이터 구조(interactive data structure), 클라이언트 및/또는 서버를 구동하는 하나 이상의 프로세서들을 사용하여 적어도 일부가 구현되거나 또는 수행될 수 있다. 하나 이상의 비-일시적 컴퓨터-판독가능 매체는 예시적으로 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합일 수 있다. 또한, 본 명세서에서 논의된 "모듈"의 기능은 소프트웨어, 펌웨어, 하드웨어, 및/또는 그것들의 어떠한 조합으로 구현될 수 있다.
10: 3차원 가상 이미지 출력 시스템
100: 증강현실 기반 인터페이스
110: 스크린
120: 제어보드
130: 액추에이터부
131: 액추에이터 장치
200: 광출력장치
300: 제어부

Claims (13)

  1. 스크린, 및 상기 스크린이 배치되는 액추에이터부를 포함하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법에 있어서,
    3차원 가상 이미지의 표면 높이 정보를 추출하는 표면 높이 추출 단계;
    상기 표면 높이 정보를 기반으로 상기 액추에이터부의 높이를 조절하는 액추에이터 높이 조절 단계;
    상기 3차원 가상 이미지의 표면 이미지를 추출하는 표면 이미지 추출 단계; 및
    상기 표면 이미지를 상기 스크린에 투사하는 이미지 투사 단계;
    를 포함하고,
    상기 표면 높이 추출 단계 이전에, 상기 스크린에 대응하는 가상의 제1 격자 평면과, 상기 제1 격자 평면에 평행하고 소정 간격 이격되는 가상의 제2 격자 평면을 생성하는 초기화 단계; 및
    상기 3차원 가상 이미지를 입력받는 가상 이미지 입력 단계;
    를 더 포함하고,
    상기 가상 이미지 입력 단계는, 상기 3차원 가상 이미지를 상기 제1 격자 평면과 상기 제2 격자 평면 사이에 배치하고,
    상기 표면 높이 추출 단계는,
    상기 제2 격자 평면에서 가상의 광선을 상기 제1 격자 평면을 향해 투사하고, 상기 광선이 상기 3차원 가상 이미지를 만나는 지점과 상기 제1 격자 평면 사이의 거리를 통해 상기 표면 높이 정보를 추출하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 표면 높이 정보를 이용하여 상기 액추에이터부의 높이 정보를 산출하는 액추에이터 높이 정보 산출 단계를 더 포함하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  8. 제 7 항에 있어서,
    상기 액추에이터 높이 정보 산출 단계는,
    제1 격자 평면과 제2 격자 평면 사이의 거리 정보, 상기 액추에이터부의 최대 높이 정보, 및 상기 표면 높이 정보를 이용하여 상기 액추에이터의 높이 정보를 산출하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  9. 제 1 항에 있어서,
    상기 표면 이미지 추출 단계는,
    가상의 카메라를 이용하여 상기 3차원 가상 이미지의 표면 이미지를 추출 하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  10. 제 9 항에 있어서,
    상기 표면 이미지 추출 단계는,
    상기 표면 이미지를 추출할 때 상기 제1 격자 평면을 영상 처리하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  11. 제 1 항에 있어서,
    상기 스크린의 크기에 맞춰 상기 표면 이미지의 크기를 보정하는 크기 보정 단계를 더 포함하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  12. 제 1 항에 있어서,
    상기 스크린은,
    상기 액추에이터부의 높이 조절에 따라 굴곡지게 변형되는 재질로 형성되는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
  13. 제 1 항에 있어서,
    상기 액추에이터부는,
    상기 액추에이터부의 높이 정보에 따라 개별적으로 높이 조절되는 복수의 액추에이터 장치를 포함하는 것을 특징으로 하는 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법.
KR1020200019283A 2020-02-17 2020-02-17 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법 KR102285339B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200019283A KR102285339B1 (ko) 2020-02-17 2020-02-17 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019283A KR102285339B1 (ko) 2020-02-17 2020-02-17 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법

Publications (1)

Publication Number Publication Date
KR102285339B1 true KR102285339B1 (ko) 2021-08-02

Family

ID=77315573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019283A KR102285339B1 (ko) 2020-02-17 2020-02-17 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법

Country Status (1)

Country Link
KR (1) KR102285339B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961184B2 (en) 2021-09-17 2024-04-16 Samsung Electronics Co., Ltd. System and method for scene reconstruction with plane and surface reconstruction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2736908B2 (ja) * 1988-12-28 1998-04-08 株式会社日立製作所 形状入出力装置
JP2009301309A (ja) * 2008-06-13 2009-12-24 Konami Digital Entertainment Co Ltd 画像処理プログラム、画像処理装置、および画像制御方法
KR20190117193A (ko) 2018-04-06 2019-10-16 전자부품연구원 가상/증강현실 장치의 양방향 데이터 인터페이스 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2736908B2 (ja) * 1988-12-28 1998-04-08 株式会社日立製作所 形状入出力装置
JP2009301309A (ja) * 2008-06-13 2009-12-24 Konami Digital Entertainment Co Ltd 画像処理プログラム、画像処理装置、および画像制御方法
KR20190117193A (ko) 2018-04-06 2019-10-16 전자부품연구원 가상/증강현실 장치의 양방향 데이터 인터페이스 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961184B2 (en) 2021-09-17 2024-04-16 Samsung Electronics Co., Ltd. System and method for scene reconstruction with plane and surface reconstruction

Similar Documents

Publication Publication Date Title
US10976980B2 (en) Method of maintaining accuracy in a 3D image formation system
KR102271516B1 (ko) 화상 처리 장치 및 방법, 및 프로그램
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2019176713A1 (ja) 制御装置、画像処理システム、制御方法、及びプログラム
US11156843B2 (en) End-to-end artificial reality calibration testing
CN111164971B (zh) 用于3d内容的视差观察器系统
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
JP6846661B2 (ja) ３次元的な投影対象のための投影方法及び装置
WO2022141294A1 (zh) 仿真测试方法、系统、仿真器、存储介质及程序产品
JP2020068513A5 (ja) 画像処理装置およびその制御方法、プログラム
KR20200144097A (ko) 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법
KR102285339B1 (ko) 증강현실 기반 인터페이스를 이용한 3차원 가상 이미지 출력 방법
EP4140552A1 (en) Image processing apparatus, image processing method, and program
EP3606061B1 (en) Projection device, projection system and an image calibration method
JP5252703B2 (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
JP7040511B2 (ja) 情報処理装置および方法
WO2018189880A1 (ja) 情報処理装置、情報処理システム、および画像処理方法
WO2020084312A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
EP3462128A1 (en) 3-d 360 degree depth projector
KR20160093769A (ko) 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템
CN110087059A (zh) 一种针对真实三维场景的交互式自由立体显示方法
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant