KR102164371B1 - 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법 - Google Patents

가상정비훈련을 위한 가상객체와의 상호작용 구현 방법 Download PDF

Info

Publication number
KR102164371B1
KR102164371B1 KR1020190156339A KR20190156339A KR102164371B1 KR 102164371 B1 KR102164371 B1 KR 102164371B1 KR 1020190156339 A KR1020190156339 A KR 1020190156339A KR 20190156339 A KR20190156339 A KR 20190156339A KR 102164371 B1 KR102164371 B1 KR 102164371B1
Authority
KR
South Korea
Prior art keywords
probe
virtual object
virtual
rotation
contact
Prior art date
Application number
KR1020190156339A
Other languages
English (en)
Inventor
조동식
Original Assignee
주식회사 아이브이알시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이브이알시스템즈 filed Critical 주식회사 아이브이알시스템즈
Priority to KR1020190156339A priority Critical patent/KR102164371B1/ko
Application granted granted Critical
Publication of KR102164371B1 publication Critical patent/KR102164371B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상정비훈련에서 가상객체의 회전, 이동 및 접촉의 행위에 대한 결과를 도출하여 실제 정비행위에 부합하는 유사한 동작을 수행할 수 있도록 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 관한 것이다.
상기의 과제를 해결하기 위하여 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법은 가상정비훈련 시스템에서 입력장치를 이용하여 정비행위명령에 대한 정비행위를 수행하는 방법에 있어서, 상기 가상객체에 대한 축일치회전 및 축직교회전을 검출하는 회전검출단계; 상기 가상객체에 대한 자유이동 및 경로이동을 검출하는 이동검출단계 및 상기 가상객체에 대한 접촉, 타격 및 선택의 상태를 검출하는 컨택트검출단계를 포함하여 구성되고, 상기 회전검출단계, 이동검출단계 및 컨택트검출단계의 검출결과에 근거하여 정비훈련에 대한 정비행위결과를 판단하도록 구성되는 것을 특징으로 한다.

Description

가상정비훈련을 위한 가상객체와의 상호작용 구현 방법{INTERACTION IMPLEMENTING METHOD OF VIRTUAL OBJECT FOR VIRTUAL MAINTENANCE TRAINING}
본 발명은 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 관한 것으로서, 더욱 상세하게는 가상정비훈련에서 가상객체의 회전, 이동 및 접촉의 행위에 대한 결과를 도출하여 실제 정비행위에 부합하는 동작을 수행할 수 있도록 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 관한 것이다.
실제 도구를 이용한 기존의 훈련 방법은 소모성 재료의 사용, 제한된 훈련 공간, 부대 시설 관리 문제, 전압, 전류, 열방출, 스패터(불꽃)에 의한 초보자의 안전사고 위험 및 훈련에 대한 소극적 대응 등 많은 어려움이 존재한다. 즉, 현장에서는 고도의 숙련된 작업자를 요구하고 있지만, 상기에서 열거한 문제점들은 효율적인 훈련 과정 수행에 걸림돌이 되고 있다.
이러한 문제점들을 해결하기 위해, 실제 작업 환경과 동일한 가상의 환경을 조성하고, 조성된 가상의 환경에서 발생된 문제점들로 인해 발생하는 안전사고를 최소화하며 작업자가 훈련을 수행할 수 있도록 하는 가상현실 기반 훈련 시뮬레이터들이 개발되고 있다.
가상현실 기반 훈련 시뮬레이터는 현장의 교육 및 훈련 상황을 실시간 시뮬레이션을 기반으로 디지털 컨텐츠로 구현하고, 사용자가 직접 컨텐츠와 상호작용할 수 있는 입출력 인터페이스 장치를 구비하여, 실제 작업 환경에서 얻는 것과 동일한 경험을 사용자에게 제시하는 시스템이다. 이를 활용하면 훈련에 관련된 비용의 절감 및 안전사고의 감소 등, 높은 경제적 효과를 볼 수 있을 뿐만 아니라 효율적인 과정으로 훈련을 수행하는 것이 가능하다. 이에 우주, 항공, 군사, 의료, 교육 및 산업 현장 등 각 분야에서 상황에 맞는 다양한 시뮬레이션 시스템이 개발되고 있다.
이러한 시뮬레이션 시스템 중, 등록특허공보 제10-1636360호에 가상 현실을 이용한 가상 정비 훈련 시스템이 개시되었다.
상기 기술은 정비사의 가상 공간상의 3차원 위치 및 진동 정보와 연관된 제1제어신호를 위치 트랙 기기 및 햅틱 원격 제어기로부터 수신하고, 가상 정비 훈련과 연관된 3차원 영상을 태스크 스크린으로 전송하도록 제어하는 제어부를 포함하는 훈련 수행 장치; 및 상기 가상 정비 제어 장치와 연결되고, 가상 정비 훈련의 종류를 선택하며 훈련의 환경을 제어하기 위한 제2제어신호를 생성하고, 상기 제1제어신호 및 제2제어신호에 기반하여 가상 정비 훈련을 수행하는 훈련 제어 장치를 포함하여 구성된다.
그러나 상기의 기술은 제1제어신호 및 제2제어신호에 기반하여 가상 정비 훈련을 수행할 수 있는 이점이 있으나, 사용자의 행위에 의한 결과를 평가할 수 없어, 정상적인 정비 훈련을 수행하였는지 알 수 없는 문제점이 있다.
KR 10-1636360 B1 (2016. 06. 29.)
본 발명은 상기 종래기술이 갖는 문제점을 해소하기 위하여 창출된 것으로서, 본 발명에서 해결하고자 하는 과제는, 사용자의 정비 훈련시 시각적 몰입은 물론 훈련 체험에 대한 간접 경험을 충실히 수행할 수 있는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법을 제공하는 데 있다.
또한, 프로브(손 또는 공구)의 사용을 숙지할 수 있고, 정비훈련의 결과에 근거하여 실제 훈련에 대한 가상 체험을 제공하여 정비 행위의 현실성을 간접적으로 체험함과 동시에 교육할 수 있는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법을 제공하는 데 있다.
상기의 과제를 해결하기 위하여 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법은 가상정비훈련 시스템에서 입력장치를 이용하여 정비행위명령에 대한 정비행위를 수행하는 방법에 있어서, 상기 가상객체에 대한 축일치회전 및 축직교회전을 검출하는 회전검출단계; 상기 가상객체에 대한 자유이동 및 경로이동을 검출하는 이동검출단계 및 상기 가상객체에 대한 접촉, 타격 및 선택의 상태를 검출하는 컨택트검출단계를 포함하여 구성되고, 상기 회전검출단계, 이동검출단계 및 컨택트검출단계의 검출결과에 근거하여 정비훈련에 대한 정비행위결과를 판단하도록 구성되는 것을 특징으로 한다.
여기서, 상기 입력장치가 VR 컨트롤러이고 축일치회전인 경우, 상기 회전검출단계는 프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 가상객체접촉 확인단계; 상기 가상객체접촉 확인단계에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 프로브의 기준축을 설정하는 프로브 기준축 설정단계; 상기 VR 컨트롤러를 통해 상기 프로브를 회전시키는 프로브 회전단계; 상기 프로브 기준축 설정단계에서 설정된 프로브 기준축에 대해 이동된 위치의 좌표값을 획득하는 프로브 위치 획득단계; 상기 프로브 기준축 설정단계에서 설정된 기준위치에 근거하여 상기 프로브 위치 획득단계에서 획득된 위치의 좌표값에 대한 회전값을 산출하는 회전값 산출단계; 상기 회전값 산출단계에서 산출된 회전값과 이전 수행된 회전값을 합산하여 누적값을 산출하는 누적값 산출단계 및 상기 누적값 산출단계에서 산출된 누적 회전값과 미리 설정된 목표 회전값을 비교하는 회전값 비교단계를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 입력장치가 VR 컨트롤러이고 축직교회전인 경우, 상기 회전검출단계에서 프로브 기준축 설정단계와 프로브 위치 획득단계는 XY 평면상에 상기 프로브를 투영하고, 투영된 상기 프로브의 XY 평면상 좌표에 근거하여 프로브 기준축 및 회전된 상태의 프로브 위치를 획득하는 것을 특징으로 한다.
또한, 상기 입력장치가 VR 컨트롤러이고 한 손에 의해 상기 가상객체에 대한 자유이동인 경우, 상기 이동검출단계는 프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 가상객체접촉 확인단계; 상기 가상객체접촉 확인단계에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 프로브의 위치 및 방향에 대한 오프셋을 설정하는 프로브 오프셋 설정단계; 상기 VR 컨트롤러를 통해 상기 프로브를 이동시키는 프로브 이동단계; 상기 프로브 이동단계를 통해 이동된 지점에서 프로브의 위치 및 방향을 획득하는 프로브 오프셋 획득단계; 상기 프로브 오프셋 획득단계에서 획득된 프로브의 위치 및 방향에 대한 획득 오프셋과 미리 설정된 목표 오프셋을 비교하는 오프셋 비교단계를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 입력장치가 VR 컨트롤러인 경우, 상기 컨택트검출단계는 프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 가상객체접촉 확인단계; 상기 가상객체접촉 확인단계에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 접촉횟수를 증가시키는 접촉횟수 증가단계 및 상기 접촉횟수 증가단계에서 증가된 접촉횟수와 미리 설정된 접촉횟수를 비교하는 접촉횟수 비교단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 사용자의 행위에 대한 가상 정비 훈련의 결과를 도출할 수 있으므로, 가상 정비 훈련을 통해 실제 정비 훈련과 동일한 경험을 제공할 수 있는 장점이 있다.
또한, 가상 정비 훈련의 결과에 근거하여 실제 정비를 수행하면서 나타나는 다양한 문제점을 파악하여 실제 훈련에 반영할 수 있는 자료로 활용할 수 있는 장점이 있다.
도 1은 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법이 적용된 가상정비훈련 시스템의 개략적인 구성도.
도 2는 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법의 개략적인 흐름도.
도 3은 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 적용된 입력장치가 VR 컨트롤러이고 축일치회전인 경우의 회전검출단계에 대한 흐름도.
도 4는 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 적용된 가상객체와 프로브의 축일치회전에 대한 구성도.
도 5는 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에서 입력장치가 VR 컨트롤러이고 한 손에 의해 가상객체에 대한 자유이동인 경우의 이동검출단계에 대한 흐름도.
도 6은 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에서 입력장치가 VR 컨트롤러인 경우의 컨택트검출단계에 대한 흐름도.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 더욱 상세하게 설명한다.
본 발명은 가상정비훈련에서 가상객체의 회전, 이동 및 접촉의 행위에 대한 결과를 도출하여 실제 정비행위에 부합하는 유사한 동작을 수행할 수 있도록 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 관한 것이다.
도 1은 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법이 적용된 가상정비훈련 시스템의 개략적인 구성도이다.
첨부된 도 1을 참조하면, 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법이 적용된 가상정비훈련 시스템은 입력부(10), 제어부(20) 및 출력부(30)를 포함하여 구성된다.
입력부(10)는 사용자의 동작 모션을 감지하거나 사용자의 동작 입력을 검출하는 것으로서, 동작 모션의 검출은 모션감지센서 등을 포함하여 이루어지고, 동작 입력은 마우스(또는 터치스크린)의 조작에 의해서 이루어진다.
이때, 상기 사용자의 동작 모션은 VR 컨트롤러를 통해 입력될 수 있다.
상기 VR 컨트롤러는 손으로 파지할 수 있는 형태의 디바이스에 대응하여 6자유도(Position 3축, Rotation 3축)를 제공하면서 디스플레이 상에 3차원 아바타로 표현되어 자유로운 동작을 실시간으로 재현 가능한 디바이스로 구성될 수 있다.
제어부(20)는 사용자 인증을 수행하고, 인증받은 사용자로 하여금 가상정비훈련에 대한 전반적인 가상훈련을 제어하는 것으로서, 사용자 저장부(21), 정비훈련목록 저장부(22), 가상객체 저장부(23), 프로브 저장부(24) 및 시뮬레이션 저장부(25) 등을 포함하여 구성된다.
사용자 저장부(21)에는 사용자의 아이디 및 비밀번호 등 사용자 정보가 저장 관리된다.
정비훈련목록 저장부(22)에는 장치/장비의 오류에 대한 다양한 정비훈련에 대한 목록, 목록에 대한 정비훈련 절차 및 정비훈련 내용 등이 저장 관리된다.
예를 들어, 본 발명의 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법이 국방분야에 적용되는 경우, 상기 정비목록 저장부(22)에는 항공기의 무기 장착, 항공기 정비 등 군사장비와 관련된 정비목록이 저장 관리될 수 있다.
가상객체 저장부(23)는 가상객체를 저장 관리하는 것으로서, 가상객체에는 장치, 장비, 부품, 볼트, 너트, 나사 등을 의미한다.
프로브 저장부(23)에는 가상의 손, 가상의 공구 또는 가상의 공구를 파지한 손을 포함하는 가상의 작업 도구가 저장 관리된다.
즉, 상기에서 가상의 공구 또는 작업 도구는 드라이버, 렌치, 플라이어, 망치, 해머 등 정비를 위해 필요한 도구를 의미한다.
출력부(30)는 디스플레이 및 스피커를 포함하는 것으로서, 가상정비훈련 시스템에 관한 그래픽 인터페이스 및 사운드를 제어부(20)의 제어에 따라 적절한 그래픽 및 음향으로 출력한다.
도 2는 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법의 개략적인 흐름도를 나타낸 것이다.
첨부된 도 2를 참조하면, 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법은 정비행위명령 검출단계(S10), 입력장치 선택단계(S20), 정비행위 수행단계(S30) 및 행위결과 판단단계(S40)를 포함하여 구성된다.
1. 정비행위명령 검출단계(S10)
정비행위명령 검출단계(S10)는 사용자의 로그인이 정상적으로 이루어진 상태에서, 사용자의 입력 이벤트에 따라 정비목록 저장부(22)에 저장된 정비 목록이 선택되고, 선택된 정비 목록에 해당하는 정비행위명령을 검출하는 단계이다.
이에, 제어부(20)는 선택된 정비 목록에 해당하는 그래픽 인터페이스를 출력부(30)로 전송하여 표시되도록 한다.
2. 입력장치 선택단계(S20)
입력장치 선택단계(S20)는 사용자의 입력 이벤트에 따라 입력장치를 선택하는 단계이다.
이때, 입력 장치로는 VR 컨트롤러 및 마우스 중에서 선택될 수 있고, 상기 마우스는 출력부(30)가 터치 스크린으로 구성되는 경우 터치(touch)에 의해 입력될 수 있다.
3. 정비행위 수행단계(S30)
정비행위 수행단계(S30)는 사용자에 의해 선택된 정비 목록에 해당하는 정비행위명령에 근거하여 정비훈련을 수행하는 단계이다.
4. 행위결과 판단단계(S40)
행위결과 판단단계(S40)는 상기 정비행위 수행단계(S30)의 수행 결과 선택된 정비 목록에 해당하는 정비행위명령에 근거하여 정비훈련이 완료되었는지를 판단하는 단계이다.
이때, 행위결과 판단단계(S40)의 판단 결과 정비 훈련이 완료되지 않은 것으로 판단되게 되면, 상기 정비행위 수행단계(S30)로 복귀하여 정비행위 수행단계(S30)를 다시 수행하도록 구성된다.
한편, 상기 정비행위 수행단계(S30)는 3가지의 일반화된 단계를 통해 수행될 수 있다.
즉, 상기 정비행위 수행단계(S30)는 가상객체에 대한 회전 정도를 검출하는 회전검출단계(S100), 가상객체로의 접근(또는 접촉)을 검출하는 이동검출단계(S200) 및 가상객체에 대한 물리적인 동작의 수행을 검출하는 컨택트검출단계(S300)를 포함하여 구성된다.
이때, 상기 회전검출단계(S100), 이동검출단계(S200) 및 컨택트검출단계(S300)는 순서대로 진행되는 것이 아니라, 정비행위 명령에 따라 교차 또는 반복되어 수행될 수 있다.
예를 들어, 볼트를 회전시키는 정비행위인 경우, 프로브를 이용하여 가상객체(볼트)로 이동한 후, 프로브로 가상객체(볼트)를 회전하는 동작이 수행되어야 하기 때문에 이동검출단계(S200)와 회전검출단계(S100)가 순차적으로 수행되어야 한다.
아울러, 상기 회전검출단계(S100), 이동검출단계(S200) 및 컨택트검출단계(S300)는 선택된 입력장치의 종류에 따라 검출방식 및 행위에 대한 결과의 검출 방식이 다르게 수행될 수 있다.
상기 정비행위 수행단계(S30) 중에서, 회전검출단계(S100)에 대해 설명한다.
상기 회전검출단계(S100)는 대상체 즉, 프로브(손, 공구 또는 공구를 파지한 손)를 이용하여 가상객체를 회전시키고, 회전된 가상객체의 회전 정도를 검출하는 것으로서, 가상객체의 회전축과 프로브의 회전축이 일치되는 축일치회전 및 가상객체의 회전축에 프로브의 회전축이 직교하게 배치되는 축직교회전으로 구분된다.
예를 들어, 축일치회전은 드라이버를 이용하여 나사를 회전시키는 경우에 대응되는 것으로서, 가상객체인 나사의 회전축과 프로브인 드라이버의 회전축이 동일축선에 배치된다. 또한 축직교회전은 렌치를 이용하여 볼트를 회전시키는 경우에 대응되는 것으로서, 가상객체인 볼트의 회전축과 프로브인 렌치의 회전축이 서로 직교하게 배치된다.
도 3은 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 적용된 입력장치가 VR 컨트롤러이고 축일치회전인 경우의 회전검출단계에 대한 흐름도이다.
첨부된 도 3을 참조하면, 입력장치가 VR 컨트롤러이고 축일치회전인 경우, 상기 회전검출단계(S100)는 가상객체접촉 확인단계(S111), 프로브 기준축 설정단계(S112), 프로브 회전단계(S113), 프로브 위치 획득단계(S114), 회전값 산출단계(S115), 누적값 산출단계(S116) 및 회전값 비교단계(S117)를 포함하여 이루어진다.
3.1.1. 가상객체접촉 확인단계(S111)
가상객체접촉 확인단계(S111)는 프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 단계이다.
3.1.2. 프로브 기준축 설정단계(S112)
프로브 기준축 설정단계(S112)는 상기 가상객체접촉 확인단계(S111)에서 프로브가 가상객체에 접촉된 것으로 판단되면, 프로브의 기준축을 설정하는 단계이다.
도 4는 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에 적용된 가상객체와 프로브의 축일치회전에 대한 구성도이다.
첨부된 도 4를 참조하면, 가상객체인 나사의 회전축과 프로브인 드라이버의 회전축이 동일축선상에 배치되게 된다. 이때, 가상객체의 나사 헤드를 중심으로 설정하고 회전축에 직교한 가상의 XY 평면이 구성된다. 상기 가상의 XY 평면을 기준면으로 하여 프로브를 회전시키면, 프로브의 회전에 대응되어 가상객체가 회전되게 된다. 여기서, 프로브의 기준축(예를 들면 X축)을 기준으로 XY 평면의 점(1.0)을 선택하고, 선택된 점이 회전이동되어 이동된 위치(x, y)의 좌표를 검출하면 가상객체의 회전각도값(θ)을 산출할 수 있다.
3.1.3. 프로브 회전단계(S113)
프로브 회전단계(S113)는 VR 컨트롤러를 통해 프로브를 회전시키는 단계이다.
즉, 첨부된 도 4에서 보인 바와 같이, 사용자가 VR 컨트롤러를 통해 프로브(드라이버)를 회전시키게 되면, 프로브에 접촉된 가상객체가 회전되게 된다.
3.1.4. 프로브 위치 획득단계(S114)
프로브 위치 획득단계(S114)는 상기 프로브 기준축 설정단계(S112)에서 설정된 프로브 기준축에 대해 이동된 위치의 좌표값을 획득하는 단계이다.
프로브의 기준축을 X축으로 하고, 기준점을 X축상의 점(1, 0)으로 설정하게 되면, 설정된 점(1, 0)은 상기 프로브 회전단계(S113)에서 수행된 회전에 의해 소정의 위치(x, y)로 이동되게 된다.
즉, 프로브 위치 획득단계(S114)는 상기 프로브 회전단계(S113)의 회전에 의해 이동된 점의 좌표값(x, y)를 획득하는 단계이다.
3.1.5. 회전값 산출단계(S115)
회전값 산출단계(S115)는 상기 프로브 기준축 설정단계(S112)에서 설정된 기준위치에 근거하여 상기 프로브 위치 획득단계(S114)에서 획득된 위치의 좌표값에 대한 회전값을 산출하는 단계이다.
이때, 획득된 위치의 좌표값에 대한 회전값(각도)은 아래의 수학식 1에 의해서 산출된다.
수학식 1)
Figure 112019123303961-pat00001
여기서, θ는 설정된 점(1, 0)에서 회전된 회전값(각도), x 및 y는 설정된 점에서 회전에 의해 이동된 XY 평면상의 좌표값이다.
3.1.6. 누적값 산출단계(S116)
누적값 산출단계(S116)는 상기 회전값 산출단계(S115)에서 산출된 회전값과 이전 수행된 회전값을 합산하여 누적값을 산출하는 단계이다.
3.1.7. 회전값 비교단계(S117)
회전값 비교단계(S117)는 상기 누적값 산출단계(S116)에서 산출된 누적 회전값과 미리 설정된 목표 회전값을 비교하는 단계이다.
비교 결과 누적 회전값이 목표 회전값 이상인 경우 회전검출단계(S100)는 종료되게 되나, 누적 회전값이 목표 회전값 미만인 경우에는 프로브 기준축 설정단계(S112)로 이동되어 누적 회전값이 설정된 목표 회전값 이상으로 검출될때까지 프로브 기준축 설정단계(S112), 프로브 회전단계(S113), 프로브 위치 획득단계(S114), 회전값 산출단계(S115), 누적값 산출단계(S116) 및 회전값 비교단계(S117)를 반복 수행하게 된다.
상기 회전검출단계(S100)에 대해 입력장치가 VR 컨트롤러이고 축일치회전인 경우를 예로 들어 설명하였으나, 입력장치가 VR 컨트롤러이고 축직교회전인 경우에는 프로브 기준축 설정단계(S112)와 프로브 위치 획득단계(S114)는 XY 평면상에 상기 프로브를 투영하고, 투영된 상기 프로브의 XY 평면상 좌표에 근거하여 프로브 기준축 및 회전된 상태의 프로브 위치를 획득하여 가상객체의 회전값을 산출할 수 있다.
다음으로, 이동검출단계(S200)에 대해서 설명한다.
이동검출단계(S200)는 프로브를 이용하여 가상객체가 목표지점의 위치로 이동되는 것을 검출하는 것으로서, 경로가 없는 자유이동과 경로가 정해진 경로이동으로 구분될 수 있다. 또한, 프로브가 손인 경우 한 손 파지 이동과 두 손 파지 이동으로 구분될 수 있다. 여기서, 상기 프로브는 가상의 손으로 구성된다.
예를 들어 설명하면, 상기 이동검출단계(S200)는 가상현실(VR) 상에서 부피가 작은 가상객체를 가상의 한 손을 이용하여 파지한 후 가상의 손과 가상객체 사이의 위치관계(Offset)를 획득한 다음, 획득된 위치관계를 유지시킨 상태에서 가상객체의 위치를 이동시키게 된다. 이때, 사용자는 VR 컨트롤러의 버튼을 클릭하는 것으로 가상객체를 파지하게 되도록 구성될 수 있다.
또한, 가상현실(VR)상에서 부피가 큰 가상객체는 가상의 두 손을 이용하여 이동될 수 있다. 두 손의 위치는 가상객체의 크기에 따라 사용자가 간격을 벌려서 잡기 때문에 두 손(손바닥) 사이의 중심점을 이용하여 위치를 잡고, 두 손의 백터와 두 손가락(검지끝)의 중심점 방향의 벡터를 이용하여 가상객체의 방향을 검출할 수 있다.
도 5는 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에서 입력장치가 VR 컨트롤러이고 한 손에 의해 가상객체에 대한 자유이동인 경우의 이동검출단계에 대한 흐름도를 나타낸 것이다.
첨부된 도 5를 참조하면, 입력장치가 VR 컨트롤러이고 한 손에 의해 가상객체에 대한 자유이동인 경우의 이동검출단계는 가상객체접촉 확인단계(S211), 프로브 오프셋 설정단계(S212), 프로브 이동단계(S213), 프로브 오프셋 획득단계(S214) 및 오프셋 비교단계(S215)를 포함하여 구성된다.
3.2.1. 가상객체접촉 확인단계(S211)
가상객체접촉 확인단계(S211)는 프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 단계이다.
3.2.2. 프로브 오프셋 설정단계(S212)
프로브 오프셋 설정단계(S212)는 상기 가상객체접촉 확인단계(S211)에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 프로브의 위치(position) 및 방향(rotation)에 대한 오프셋 설정하는 단계이다.
즉, 상기 프로브 오프셋 설정단계(S212)는 프로브(가상의 손)에 의해 파지된 상태의 가상객체에 대한 위치 및 방향의 오프셋을 설정하는 것으로서, 위치 오프셋은 프로브가 가상객체에 접촉한 상태에서 프로브(가상의 손)와 가상객체 사이의 변위차를 이용하여 설정하고, 방향 오프셋은 프로브가 가상객체에 접촉한 상태에서 프로브(가상의 손)와 가상객체 사이의 방향변위차를 이용하여 설정된다.
3.2.3. 프로브 이동단계(S213)
프로브 이동단계(S213)는 VR 컨트롤러를 통해 프로브를 자유 이동시키는 단계이다.
즉, 프로브 이동단계(S213)는 사용자가 VR 컨트롤러를 이용하여 프로브로 가상객체를 파지한 상태에서 가상객체를 이동시키는 단계이다.
3.2.4. 프로브 오프셋 획득단계(S214)
프로브 오프셋 획득단계(S214)는 상기 프로브 이동단계(S213)를 통해 이동된 지점에서 프로브의 위치 및 방향을 획득하는 단계이다.
상기 프로브 오프셋 획득단계(S214)는 상기 프로브 오프셋 설정단계(S212)와 마찬가지로 이동된 지점에 대한 프로브의 위치(position) 및 방향(rotation)에 대한 오프셋을 획득한다.
3.2.5. 오프셋 비교단계(S215)
오프셋 비교단계(S215)는 상기 프로브 오프셋 획득단계(S214)에서 획득된 프로브의 위치 및 방향에 대한 획득 오프셋과 미리 설정된 목표 오프셋을 비교하는 단계이다.
상기 오프셋 비교단계(S215)의 비교 결과 획득 오프셋의 위치/방향과 미리 설정된 목표 오프셋의 위치/방향이 설정 오차를 벗어나는 경우, 프로브 이동단계(S213)로 복귀하여 프로브 이동단계(S213), 프로브 오프셋 획득단계(S214) 및 오프셋 비교단계(S215)를 반복 수행하게 된다.
상기 이동검출단계(200)는 입력장치가 VR 컨트롤러이고 한 손에 의해 가상객체에 대한 자유이동인 경우를 설명하였으나, 입력장치가 VR 컨트롤러이고 두 손에 의해 가상객체에 대한 자유이동인 경우의 오프셋은 중심기준축을 기준으로 생성하여 비교하게 된다.
이때, 상기 중심기준축은 두 손 프로브 사이의 중간점과 손가락 검지 사이의 중간점을 연결하는 선으로 설정되고, 설정된 중심기준축의 오프셋을 이용하여 가상객체의 이동을 검출하게 된다.
상기 이동검출단계(200)에서 입력장치가 VR 컨트롤러이고 가상객체에 대한 경로이동인 경우 즉, 가상객체를 레일 등의 미리 설정된 경로를 따라 이동시키는 경우, 오프셋은 프로브가 가상객체에 접촉한 상태에서 프로브의 경로 벡터 투영점과 가상객체 사이의 변위차를 이용하여 설정된다.
즉, 프로브의 위치를 가상객체가 놓여진 경로의 평면으로 투영하고, 프로브와 가상객체 사이의 변위차를 통해 오프셋을 획득한 후, 획득 오프셋과 목표 오프셋을 비교하여 가상객체의 이동을 검출하게 된다.
마지막으로, 컨택트검출단계(S300)에 대해서 설명한다.
컨택트검출단계(S300)는 가상객체에 대한 접촉, 타격 및 선택의 상태를 검출하는 것으로서, 가상객체에 해머(망치) 등의 타격 공구를 이용하여 타격하거나, 제어장치 등의 버튼 조작의 수행결과를 검출하는 단계이다.
즉, 가상정비에서 컨택트검출단계(S300)는 프로브를 통해 가상객체를 타격하는 행위, 또는 버튼의 눌림, 레버의 당김 등에 대한 수행결과를 검출하는 것이다.
이때, 컨택트검출단계(S300)는 타격 횟수와 관련되거나 버튼의 눌림에 대한 조작 시간에 관여하게 되는 데, 상기 컨택트검출단계(S300)는 프로브를 이용하여 가상객체를 타격하는 횟수와 지속시간으로 구분될 수 있다.
도 6은 본 발명에 따른 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법에서 입력장치가 VR 컨트롤러인 경우의 컨택트검출단계에 대한 흐름도를 나타낸 것이다.
첨부된 도 6을 참조하면, 입력장치가 VR 컨트롤러인 경우 컨택트검출단계(S300)는 가상객체접촉 확인단계(S311), 접촉횟수 증가단계(S312) 및 접촉횟수 비교단계(S313)를 포함하여 구성된다.
3.3.1. 가상객체접촉 확인단계(S311)
가상객체접촉 확인단계(S311)는 프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 단계이다.
이때, 접촉은 가상객체에 대한 프로브의 타격으로 볼 수 있다.
3.3.2. 접촉횟수 증가단계(S312)
접촉횟수 증가단계(S312)는 상기 가상객체접촉 확인단계(S311)에서 프로브가 가상객체에 접촉된 것으로 판단되면, 접촉횟수를 증가시키는 단계이다.
즉, 상기 접촉횟수 증가단계(S312)는 타격에 의한 접촉횟수를 누적한다.
3.3.3. 접촉횟수 비교단계(S313)
접촉횟수 비교단계(S313)는 상기 접촉횟수 증가단계(S312)에서 증가된 접촉횟수와 미리 설정된 접촉횟수를 비교하는 단계이다.
상기 접촉횟수 비교단계(S313)의 비교 결과, 증가된 접촉횟수가 미리 설정된 접촉횟수와 동일하면 컨택트검출단계는 종료되고, 증가된 접촉횟수가 미리 설정된 접촉횟수 미만이면 가상객체접촉 확인단계(S311)로 복귀하여 가상객체접촉 확인단계(S311), 접촉횟수 증가단계(S312) 및 접촉횟수 비교단계(S313)를 반복 수행하게 된다.
본 발명에 의하면, 사용자의 행위에 대한 가상 정비 훈련의 결과를 도출할 수 있으므로, 가상 정비 훈련을 통해 실제 정비 훈련과 동일한 경험을 제공할 수 있는 장점이 있다.
또한, 가상 정비 훈련의 결과에 근거하여 실제 정비를 수행하면서 나타나는 다양한 문제점을 파악하여 실제 훈련에 반영할 수 있는 자료로 활용할 수 있는 장점이 있다.
이상에서 본 발명의 바람직한 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명의 실시 예와 실질적으로 균등한 범위에 있는 것까지 본 발명의 권리범위가 미치는 것으로 이해되어야 하며, 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능하다.
10: 입력부 20: 제어부
21: 사용자 저장부 22: 정비훈련목록 저장부
23: 가상객체 저장부 24: 프로브 저장부
25: 시뮬레이션 저장부 30: 출력부

Claims (5)

  1. 가상정비훈련 시스템에서 입력장치를 이용하여 정비행위명령에 대한 정비행위를 수행하는 방법에 있어서,
    가상객체에 대한 축일치회전 및 축직교회전을 검출하는 회전검출단계(S100);
    가상객체에 대한 자유이동 및 경로이동을 검출하는 이동검출단계(S200); 및
    가상객체에 대한 접촉, 타격 및 선택의 상태를 검출하는 컨택트검출단계(S300);
    를 포함하여 구성되고,
    상기 회전검출단계, 이동검출단계 및 컨택트검출단계의 검출결과에 근거하여 정비훈련에 대한 정비행위결과를 판단하도록 구성되며,
    상기 입력장치가 VR 컨트롤러이고 축일치회전인 경우, 상기 회전검출단계(S100)는,
    프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 가상객체접촉 확인단계(S111);
    상기 가상객체접촉 확인단계(S111)에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 프로브의 기준축을 설정하는 프로브 기준축 설정단계(S112);
    상기 VR 컨트롤러를 통해 상기 프로브를 회전시키는 프로브 회전단계(S113);
    상기 프로브 기준축 설정단계(S112)에서 설정된 프로브 기준축에 대해 이동된 위치의 좌표값을 획득하는 프로브 위치 획득단계(S114);
    상기 프로브 기준축 설정단계(S112)에서 설정된 기준위치에 근거하여 상기 프로브 위치 획득단계(S114)에서 획득된 위치의 좌표값에 대한 회전값을 산출하는 회전값 산출단계(S115);
    상기 회전값 산출단계(S115)에서 산출된 회전값과 이전 수행된 회전값을 합산하여 누적값을 산출하는 누적값 산출단계(S116); 및
    상기 누적값 산출단계(S116)에서 산출된 누적 회전값과 미리 설정된 목표 회전값을 비교하는 회전값 비교단계(S117);
    를 포함하여 구성되는 것을 특징으로 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 입력장치가 VR 컨트롤러이고 축직교회전인 경우, 상기 회전검출단계(S100)에서 프로브 기준축 설정단계(S112)와 프로브 위치 획득단계(S114)는,
    XY 평면상에 상기 프로브를 투영하고, 투영된 상기 프로브의 XY 평면상 좌표에 근거하여 프로브 기준축 및 회전된 상태의 프로브 위치를 획득하는 것을 특징으로 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법.
  4. 청구항 1에 있어서,
    상기 입력장치가 VR 컨트롤러이고 한 손에 의해 상기 가상객체에 대한 자유이동인 경우, 상기 이동검출단계(S200)는,
    프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 가상객체접촉 확인단계(S211);
    상기 가상객체접촉 확인단계(S211)에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 프로브의 위치 및 방향에 대한 오프셋을 설정하는 프로브 오프셋 설정단계(S212);
    상기 VR 컨트롤러를 통해 상기 프로브를 이동시키는 프로브 이동단계(S213);
    상기 프로브 이동단계(S213)를 통해 이동된 지점에서 프로브의 위치 및 방향을 획득하는 프로브 오프셋 획득단계(S214);
    상기 프로브 오프셋 획득단계(S214)에서 획득된 프로브의 위치 및 방향에 대한 획득 오프셋과 미리 설정된 목표 오프셋을 비교하는 오프셋 비교단계(S215);
    를 포함하여 구성되는 것을 특징으로 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법.
  5. 청구항 1에 있어서,
    상기 입력장치가 VR 컨트롤러인 경우, 상기 컨택트검출단계는,
    프로브를 가상객체로 이동하여 상기 프로브가 상기 가상객체에 접촉되었는지를 확인하는 가상객체접촉 확인단계(S311);
    상기 가상객체접촉 확인단계(S311)에서 상기 프로브가 상기 가상객체에 접촉된 것으로 판단되면, 접촉횟수를 증가시키는 접촉횟수 증가단계(S312); 및
    상기 접촉횟수 증가단계(S312)에서 증가된 접촉횟수와 미리 설정된 접촉횟수를 비교하는 접촉횟수 비교단계(S313);
    를 포함하는 것을 특징으로 하는 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법.
KR1020190156339A 2019-11-29 2019-11-29 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법 KR102164371B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190156339A KR102164371B1 (ko) 2019-11-29 2019-11-29 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156339A KR102164371B1 (ko) 2019-11-29 2019-11-29 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법

Publications (1)

Publication Number Publication Date
KR102164371B1 true KR102164371B1 (ko) 2020-10-12

Family

ID=72886444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156339A KR102164371B1 (ko) 2019-11-29 2019-11-29 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법

Country Status (1)

Country Link
KR (1) KR102164371B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306990B1 (ko) 2020-11-30 2021-09-30 주식회사 아이브이알시스템즈 가상훈련 콘텐츠에서 분해/조립 콘텐츠 저작편의를 위한 간접복사/링크 방법
KR20220147251A (ko) * 2021-04-27 2022-11-03 주식회사 아이브이알시스템즈 가상 환경 상호작용 협업 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132681A (ko) * 2014-05-15 2015-11-26 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR101636360B1 (ko) 2015-10-26 2016-07-06 국방과학연구소 가상 현실을 이용한 가상 정비 훈련 시스템
KR20180134635A (ko) * 2017-06-09 2018-12-19 동명대학교산학협력단 가상현실에 기반하는 객체 처리장치 및 그 동작 방법
KR20190031551A (ko) * 2016-08-23 2019-03-26 구글 엘엘씨 증강된 그리고/또는 가상의 현실 환경에서 6 자유도 제어기들을 이용한 가상 객체들의 조작
KR20190059727A (ko) * 2017-11-23 2019-05-31 한길씨앤씨 주식회사 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132681A (ko) * 2014-05-15 2015-11-26 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR101636360B1 (ko) 2015-10-26 2016-07-06 국방과학연구소 가상 현실을 이용한 가상 정비 훈련 시스템
KR20190031551A (ko) * 2016-08-23 2019-03-26 구글 엘엘씨 증강된 그리고/또는 가상의 현실 환경에서 6 자유도 제어기들을 이용한 가상 객체들의 조작
KR20180134635A (ko) * 2017-06-09 2018-12-19 동명대학교산학협력단 가상현실에 기반하는 객체 처리장치 및 그 동작 방법
KR20190059727A (ko) * 2017-11-23 2019-05-31 한길씨앤씨 주식회사 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R1020180134635 A

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306990B1 (ko) 2020-11-30 2021-09-30 주식회사 아이브이알시스템즈 가상훈련 콘텐츠에서 분해/조립 콘텐츠 저작편의를 위한 간접복사/링크 방법
KR20220147251A (ko) * 2021-04-27 2022-11-03 주식회사 아이브이알시스템즈 가상 환경 상호작용 협업 시스템 및 그 방법
KR102582312B1 (ko) * 2021-04-27 2023-09-25 주식회사 아이브이알시스템즈 가상 환경 상호작용 협업 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US11724388B2 (en) Robot controller and display device using augmented reality and mixed reality
Zhai et al. Quantifying coordination in multiple DOF movement and its application to evaluating 6 DOF input devices
Mengoni et al. Spatial Augmented Reality: An application for human work in smart manufacturing environment
KR101636360B1 (ko) 가상 현실을 이용한 가상 정비 훈련 시스템
KR102001214B1 (ko) 가상 현실 기반 양팔로봇 교시 장치 및 방법
KR102164371B1 (ko) 가상정비훈련을 위한 가상객체와의 상호작용 구현 방법
Ullmann et al. Intuitive virtual grasping for non haptic environments
CN111251305B (zh) 机器人力控制方法、装置、系统、机器人及存储介质
Vosniakos et al. On immersive virtual environments for assessing human-driven assembly of large mechanical parts
Kim et al. Encountered‐type haptic display for large VR environment using per‐plane reachability maps
Weber et al. Visual, vibrotactile, and force feedback of collisions in virtual environments: effects on performance, mental workload and spatial orientation
CN111338287A (zh) 机器人运动控制方法、装置、系统、机器人及存储介质
JP5435567B2 (ja) 生活支援ロボットアームの操作トレーニング装置
Theofanidis et al. Varm: Using virtual reality to program robotic manipulators
Delrieu et al. Precise and realistic grasping and manipulation in virtual reality without force feedback
Du et al. Natural human–machine interface with gesture tracking and cartesian platform for contactless electromagnetic force feedback
WO2021195916A1 (zh) 动态手部仿真方法、装置和系统
Nisar et al. Effects of different hand-grounding locations on haptic performance with a wearable kinesthetic haptic device
Colvin et al. Multiple user motion capture and systems engineering
Bielecki et al. Tangible virtual reality in a multi-user environment
Piyavichayanon et al. Collision-aware ar telemanipulation using depth mesh
Grajewski et al. Use of delta robot as an active touch device in immersive case scenarios
Chu et al. Experimental analysis of augmented reality interfaces for robot programming by demonstration in manufacturing
Pratticò et al. A breakdown study of a mockup-based consumer haptic setup for virtual reality
James et al. Haptics enhanced interface for remote control of measurement instrumentation

Legal Events

Date Code Title Description
GRNT Written decision to grant