KR101586195B1 - 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법 - Google Patents
탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법 Download PDFInfo
- Publication number
- KR101586195B1 KR101586195B1 KR1020140042152A KR20140042152A KR101586195B1 KR 101586195 B1 KR101586195 B1 KR 101586195B1 KR 1020140042152 A KR1020140042152 A KR 1020140042152A KR 20140042152 A KR20140042152 A KR 20140042152A KR 101586195 B1 KR101586195 B1 KR 101586195B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- unit
- image
- camera
- driving
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 201000003152 motion sickness Diseases 0.000 title description 2
- 238000004891 communication Methods 0.000 claims abstract description 94
- 206010028813 Nausea Diseases 0.000 claims abstract description 6
- 230000008693 nausea Effects 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 18
- 206010025482 malaise Diseases 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000010485 coping Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 4
- 210000003128 head Anatomy 0.000 description 20
- 230000036544 posture Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008482 dysregulation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 탑승자에게 3차원 공간 정보를 헤드 마운트 디스플레이(Head mounted display)를 포함하는 이미징 디바이스를 통해서 전달되는 영상에 의해 발생하는 부작용(멀미 등)을 탑승형 스튜어트 플랫폼을 이용하여 부작용을 해결하기 위한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법에 관한 것으로, 원격지 구동장치와 무선 통신 채널을 형성하고, 해당 무선 통신 채널을 통하여 구동장치의 제어를 위한 조작정보를 수신하여 동작하며, 작업 환경 및 동작에 따른 영상정보, 차체 기울기 정보, 방향정보를 전송하는 구동장치와, 상기 구동장치로부터 수신되는 구동장치의 기울기 정보, 영상정보, 영상 방향 정보를 절대 좌표계를 통해 스튜어트 플랫폼의 각도 및 기울기를 조절하고, 조작부의 조작 정보를 통해 구동장치를 제어하는 제어장치를 포함하는 것을 특징으로 하며, 탑승자가 조작하는 방향에 따라 헤드 마운트 디스플레이로 표시되는 영상의 변화를 6 자유도 구현이 가능한 스튜어트 플랫폼을 이용하여 영상의 방향에 따른 스튜어트 플랫폼의 자세를 보정하므로 영상의 변화에 의한 어지러움 증, 멀미 등을 방지할 수 있으므로 현장 작업 환경과 동일한 작업 환경에서 작업할 수 있도록 지원하여 보다 면밀하고 원활한 작업 수행을 지원할 수 있는 효과가 있다.
Description
본 발명은 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법에 관한 것으로, 탑승자에게 3차원 공간 정보를 헤드 마운트 디스플레이(Head mounted display)를 포함하는 이미징 디바이스를 통해서 전달되는 영상에 의해 발생하는 부작용(멀미 등)을 탑승형 스튜어트 플랫폼을 이용하여 부작용을 해결하기 위한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법에 관한 것이다.
일반적으로 헤드 마운트 디스플레이(Head Mounted Display; HMD, 머리 부분 탑재형 디스플레이), 헬멧, 리플 사이트(rifle sight) 등을 포함하며, 이러한 이미징 디바이스는 직시형 시스템에 의해 이미징 컴포넌트에 통해 획득한 후 디스플레이 컴포넌트에 의해 실시간으로 탑승자에게 제공된 이미징 디바이스들이다.
특히 헤드 마운트 디스플레이는 머리 부분에 안경과 같이 착용하여 이용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치이다.
최초의 헤드 마운트 디스플레이는 두 눈에 장착된 모니터에 3차원 그래픽이 표시되고, 또는 천장에 연결된 기구를 통해 착용자의 방향을 감지할 수 있어 이에 상응되는 영상을 보여주었다.
상기와 같이 가상환경에 노출됨으로써 예견되는 부작용은 인체 평행기능에 미치는 영향, 시각 피로 및 자율 신경 부조화에 따른 피로에 미치는 영향, 운동기능에 미치는 영향으로 크게 나눌 수 있다. 이중에 서도 특히 심각한 것은 인체의 평형 감각의 부조화에 의해 유발되는 가상환경 멀미라 할 수 있다.
상기한 목적을 달성하기 위한 본 발명은 탑승자에게 3차원 공간 정보를 헤드 마운트 디스플레이(Head mounted display)를 포함하는 이미징 디바이스를 통해서 전달되는 영상에 의해 발생하는 멀미 등을 포함하는 부작용을 탑승형 스튜어트 플랫폼을 이용하여 부작용을 해결하기 위한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법을 제공하는데 목적이 있다.
본 발명은 제어장치와 무선 통신 채널을 형성하고, 해당 무선 통신 채널을 통하여 구동장치의 제어를 위한 조작정보를 수신하여 동작하며, 작업 환경 및 동작에 따른 구동장치 기울기 및 방향정보를 포함하는 자세정보, 카메라의 영상 방향 정보 및 영상정보를 전송하는 구동장치; 상기 구동장치로부터 수신되는 카메라의 영상정보를 헤드 마운트 디스플레이에 영상을 비출 때 발생하는 멀미 현상을 구동장치의 기울기 정보, 카메라의 영상 방향 정보에 따른 절대 좌표계 및 영상정보를 통해 스튜어트 플랫폼의 각도 및 기울기를 포함하는 자유도를 보상하여 상기 헤드 마운트 디스플레이를 착용하고 상기 스튜어트 플랫폼에 탑승한 탑승자의 멀미 현상을 극복할 수 있도록 도와주는 제어장치를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치를 제공한다.
본 발명은 상기 구동장치는 상기 제어장치와 통신하기 위한 장치 통신부; 상기 조작 정보에 따라 구동장치의 방향 전환 및 전, 후진을 제어하는 장치 구동부; 상기 구동장치의 방향, 기울기 정보를 포함하는 자세정보, 카메라의 방향정보를 수집하는 센서부; 영상의 수집을 위한 적어도 하나의 카메라와 2차원 또는 3차원 레이저 스캐너를 포함하는 영상 수집부; 및 상기 제어장치에 데이터의 송수신을 제어하고, 구동장치의 자세정보, 카메라의 방향 및 영상정보의 수집을 제어하는 장치 제어부를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치를 제공한다.
본 발명은 센서부는 상기 구동 장치의 방향, 기울기를 포함하는 자세정보를 수집하는 구동장치 자이로 센서와, 카메라의 방향 정보를 수집하는 카메라 자이로 센서를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치를 제공한다.
본 발명은 제어장치는 상기 구동장치의 장치 통신부와 상용 망을 기반으로 무선 통신 채널을 형성하여 데이터의 송, 수신하는 제어장치 통신부; 상기 구동 장치 조작을 위한 조이스틱과 버튼 중 적어도 하나를 포함하는 조작부; 상기 구동장치의 기울기, 방향 및 카메라의 영상 방향 정보에 따라 스튜어트 플랫폼의 자세를 구동장치의 기울기 및 방향 및 카메라의 영상 방향 정보에 맞게 자세를 구현하는 자세 구현부; 상기 구동 장치가 전송한 영상정보를 헤드 마운트 디스플레이로 출력하는 영상 출력부; 탑승자의 조작에 따라 구동하는 구동장치와 데이터를 송신하고, 구동장치의 방향, 기울기 및 카메라의 영상 방향 정보를 통해 스튜어트 플랫폼의 자유도 제어 및 헤드 마운트 디스플레이의 영상 출력을 제어하여 탑승자의 평생감각을 보상하는 제어장치 제어부를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치를 제공한다.
본 발명은 상기 제어장치 제어부는 구동장치에 설치된 카메라에 의해 촬영하여 인가되는 영상은 센서부의 센서 좌표계를 기준으로 탑승자가 착용하고 있는 헤드 마운트 디스플레이에 표시되는 영상에 맞게 매칭하여 헤드 마운트 디스플레이로 영상이 표시되는 것을 특징으로 하는 탑승형 플랫폼을 이용한 가상환경 멀미 극복 장치를 제공한다.
본 발명은 상기 제어장치 제어부는 탑승자가 착용한 헤드 마운트 디스플레이에서 표시되는 영상의 방향과 기울기에 따라 스튜어트 플랫폼이 동일한 방향과 기울기를 갖도록 하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치를 제공한다.
본 발명은 조작부의 신호에 따라 영상 수집부와, 센서부를 통해 입력되는 구동장치의 자세정보, 카메라의 영상 및 방향 정보에 따른 데이터를 취득하는 단계; 구동장치의 통신부를 통해 전송 받은 데이터로 3차원 공간에 따른 센서 좌표계를 가상현실에서 절대 좌표계를 재구성하는 단계; 절대 좌표계의 3 차원 재구성 데이터를 탑승자 좌표계로 재 구성하는 단계; 탑승자가 착용하고 있는 헤드 마운트 디스플레이와 조작기를 통해 구동장치의 방향 및 카메라의 방향에 따른 탑승자가 관심을 갖는 시야 정보를 특정화하는 단계; 탑승자 좌표계에 따라 특정화된 영상정보에 의해 스튜어트 플랫폼 자유도 제어 및 탑승자 헤드 마운트 디스플레이에 탑승자 좌표계의 시야 정보의 출력을 제어하는 단계를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법을 제공한다.
본 발명은 데이터를 취득하는 단계는 구동장치의 카메라와 2차원 또는 3차원 레이저 스캐너를 포함하는 영상 수집부에 의해 영상정보를 취득하는 단계; 구동장치의 기울기, 방향 정보 카메라 또는 스캐너의 방향 정보를 센서부를 통해 취득하는 단계; 및 구동장치의 차체 기울기 정보, 카메라 방향 정보 및 2차원 또는 3차원 스캐너의 방향 정보를 장치 제어부로 인가하는 단계를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법을 제공한다.
본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법은 탑승자가 조작하는 방향에 따라 헤드 마운트 디스플레이로 표시되는 영상의 변화를 6 자유도 구현이 가능한 스튜어트 플랫폼을 이용하여 영상의 방향에 따른 스튜어트 플랫폼의 자세를 보정하므로 영상의 변화에 의한 어지러움 증, 멀미 등을 방지할 수 있으므로 현장 작업 환경과 동일한 작업 환경에서 작업할 수 있도록 지원하여 보다 면밀하고 원활한 작업 수행을 지원할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치의 구성을 나타낸 도면.
도 2는 본 발명에 의한 구동장치의 구성을 나타낸 블록도.
도 3은 본 발명에 의한 제어장치의 구성을 나타낸 블록도.
도 4는 본 발명에 의한 제어장치의 실제 구현한 일례를 나타낸 도면.
도 5는 본 발명의 자세 구현부에 포함되는 스튜어트 플랫폼의 형태를 나타낸 도면.
도 6은 본 발명에 의한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법을 나타낸 도면.
도 7은 도 6의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법에서 데이터를 단계를 나타낸 순서도.
도 2는 본 발명에 의한 구동장치의 구성을 나타낸 블록도.
도 3은 본 발명에 의한 제어장치의 구성을 나타낸 블록도.
도 4는 본 발명에 의한 제어장치의 실제 구현한 일례를 나타낸 도면.
도 5는 본 발명의 자세 구현부에 포함되는 스튜어트 플랫폼의 형태를 나타낸 도면.
도 6은 본 발명에 의한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법을 나타낸 도면.
도 7은 도 6의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법에서 데이터를 단계를 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대한 한정하려고 하는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하, 본 발명에 의한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법을 첨부된 도면을 통해 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 구동장치(100)와 제어장치(200)를 포함하여 구성할 수 있다. 추가로 구동장치(100)에는 구동장치(100)의 외부에서 영상을 수집하는 외부 영상 수집부(141)를 포함하여 구성할 수 있다.
이와 같은 구성을 포함하는 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 구동장치(100)와 제어장치(200)는 일정 거리 이상으로 떨어진 상태에서 구동장치(100)에 마련된 장치 통신부(110)와 제어장치(200)에 마련된 제어장치 통신부(210) 간에 무선 채널을 형성하고, 해당 무선 통신 채널을 기반으로 구동장치(100)의 원격 제어를 위하여 다양한 정보를 송, 수신함으로써 구동장치(100)를 원격지에서 제어할 수 있도록 지원한다.
상기 구동장치(100)는 로봇 등을 포함하여 구성되고, 원격지의 제어장치(200)와 무선 통신 채널을 통해 구동장치(100)의 제어를 위한 조작 정보를 수신할 수 있다. 그리고 영상 수집부(140)를 통하여 주변의 영상을 수집하고, 수집된 영상정보를 원격지에 있는 제어장치(200)에 전달할 수 있다. 또한 센서부(130)에서는 작업 환경 및 동작에 따른 구동장치 기울기 정보, 방향정보를 포함하는 자세정보, 카메라 또는 스캐너(2차원, 3차원)에 의한 영상정보 및 카메라 또는 스캐너의 방향정보를 원격지 제어장치로 전송할 수 있다.
상기 제어장치(200)는 탑승자 요청에 따라 활성화되고, 이후 구동장치(100)와 통신 채널을 형성한 뒤, 구동장치(100) 제어를 위하여 신호의 송수신을 지원할 수 있다. 특히 원격지에 위치한 제어장치(200)는 구동장치(100)의 카메라 또는 레이저로부터 주변 환경에 대한 영상정보를 수신하고, 이를 영상 출력부(240)에 출력함으로써 현재 어떠한 환경에 있는지를 탑승자가 파악할 수 있도록 지원한다. 추가로 본 발명의 원격지 제어장치(200)는 구동장치(100)의 자세정보(기울기, 방향 등), 카메라 정보(기울기, 방향 등)를 수신하여 이를 구현함으로써 구동장치(100)가 현재 어떠한 작업 상태나 환경에 의한 자세를 취하고 있는 지를 탑승자가 직접적으로 체험할 수 있도록 지원한다. 이에 따라 탑승자는 구동장치(100)를 제어하지만 실질적으로 사용하는 위치에서 구동하는 것과 동일한 또는 유사한 상황 하에서 작업을 수행하는 것으로 느끼고 판단할 수 있다.
이에 따라 탑승자는 원격지에서 제어장치(200)의 자세 구현 및 영상정보 출력을 통하여 현장에 위치한 상태와 유사한 상태로서 작업하게 됨으로 오 작업의 확률을 줄이고 작업환경에 대하여 보다 정밀하고 빠르게 대처할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 사용 지(地)에 위치한 구동장치(100)를 제어하는데 있어서, 현장과 동일한 환경을 구동장치(100) 제어를 위해 마련된 원격지에서 다시 구현함으로써 현장에서 작업하는 것과 동일한 작업 환경을 원격지에서 제공할 수 있다.
이에 따라 숙련공이나 탑승자가 사용 지까지 이동하지 않더라도 원하는 작업을 손쉽게 처리할 수 있게 됨으로 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 사용 지까지의 이동 시간을 절약할 수 있음과 아울러 인력 배분을 보다 간단하고 용이하고, 작업지에서 발생할 수 있는 만일에 사태에 대하여 안전을 보장할 수 있다.
또한 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 작업자가 로봇 등을 포함하는 구동장치(100)에 직접적으로 탑승하지 않고서도 원하는 작업을 수행하게 됨으로 구동장치(100)가 배치된 위험 환경에 탑승자 노출을 원천적으로 제거함으로써 탑승자의 안전성을 확보할 수 있도록 지원한다. 그리고 이에 따라 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 위험한 장소 등에 관계없이 필요할 경우 해당 구동장치(100) 만을 원격으로 이동시켜 작업하도록 함으로써 구동장치(100)가 견딜 수 있는 다양한 환경에서 그리고 극한의 환경에서도 탑승자의 상태를 고려하지 않고 작업할 수 있어 높은 생산성을 획득할 수 있도록 지원한다.
도 2는 본 발명에 의한 구동장치의 구성을 보다 상세하게 나타낸 블록도 이다. 이러한 도면은 구동장치의 기능적 구성을 개략적으로 나타낸 것으로, 도 1에서 나타낸 구동장치의 다양한 외관이나 이동수단 등이 더 포함될 수 있을 것이다.
도 2에 도시된 바와 같이, 본 발명의 구동장치(100)는 장치 통신부(110), 장치 구동부(12), 센서부(130), 영상 수집부 및 장치 제어부를 포함할 수 있다.
상기 장치 통신부(110)는 구동장치(100)와 원격지의 제어장치(200)와의 통신 채널을 형성하기 위한 구성이다. 이러한 장치 통신부(110)는 일정 거리가 떨어진 원격지에 위치한 제어장치(200)와의 통신을 위한 무선 통신 모듈로 구성될 수 있으며, 현재 사용 망인 3G 또는 4G, 와이브로 등의 다양한 망을 이용한 데이터전송을 지원할 수 있다. 장치 통신부(110)가 상기한 사용 망을 이용하는 구성으로 마련되는 경우 상용 망 접속과 해당 통신 서비스 이용을 위한 접속 정보를 사전 획득하고, 이를 기반으로 원격지에서 제어장치(200)와 통신을 수행할 수 있다. 서비스 이용을 위한 접속 정보를 사전 획득하고, 이를 기반으로 원격지에 위치한 제어장치(200)와 통신을 수행할 수 있다. 이를 위하여 장치 통신부(110)는 각 통신 방식을 지원하는 통신 모듈 예를 들면 3G 통신 지원 수행하는 WCDMA(Wideband Code Division Multiple Access) 통신 모듈, GTRS 통신 모듈, HSDPA 통신 모듈 등 다양한 통신 모듈로 구성이 가능하며, 4G 통신 지원 시 LTE(long term evolution)통신 모듈로 구성이 가능하다. 이에 따라 본 발명의 장치 통신부(110)는 특정한 통신 방식이나 통신 모듈의 형태로 한정되는 것이 아니라 구동장치의 원격지에서 제어를 위하여 요구되는 다양한 데이터 송수신을 지원하는 통신 모듈로서 이해되어야 할 것이다. 이러한 장치 통신부(110)는 영상 수집부(140)가 수집한 영상, 센서부(130)가 수집하는 자세정보(구동장치의 방향, 구동장치의 기울기, 카메라의 방향, 카메라의 각도 등)를 사용 망을 통하여 원격지에 있는 제어장치에 전송할 수 있다.
추가로 도 1에 마련된 외부 영상 수집부(141)가 수집한 외부 영상정보도 원격지에 위치한 제어장치(200)에 전송할 수 있다. 이때 외부 영상 수집부(141)가 구동장치에 장착되지 않고 별도의 장소에 마련되는 경우 외부 영상 수집부(141)는 구동장치(100)로 수집된 외부 영상정보를 전송하기 위한 유선 케이블이나 무선 통신 모듈을 포함할 수 있다. 또는 외부 영상 수집부(141)는 구동장치(100)에 마련된 장치 통신부(110)와 유사한 통신 모듈을 포함하고, 구동장치(100) 제어 또는 원격지에 위치한 제어장치의 제어에 따라 수집된 외부 영상정보를 제어장치(200)에 전송할 수 있다.
상기 센서부(130)는 구동장치(100)의 현재 자세 및 카메라의 방향과 기울기에 대한 정보를 수집하는 구성이다. 이를 위하여 센서부(130)는 구동장치(100)의 자세를 검출할 수 있는 자유도 검출 장치를 포함할 수 있다. 특히 센서부(130)는 구동장치(100)의 자세에 대한 6 자유도 검출을 지원하는 장치 예를 들면 검출 센서, 또는 자이로 센서를 포함할 수 있다.
이에 따라 센서부(130)가 수집하는 자세정보는 구동장치(100)의 위치 변화에 따른 6 자유도 지원의 센싱 정보, 구동장치(130)의 기울기와 방향과 카메라 또는 스캐너 위치 및 방향에 대한 자이로 센서에 의한 좌표계가 될 수 있다.
수집된 자세정보는 장치 제어부(150) 제어에 따라 장치 통신부(110)를 거쳐 원격지의 제어장치(200)에 전송될 수 있다. 이러한 센서부(130)는 장치 제어부(150) 제어에 따라 자유도 검출장치 또는 자이로 센서를 활성화하고, 실시간으로 해당 센서 정보를 수집할 수 있다.
영상 수집부(140)는 적어도 하나가 구동장치(100)에 설치되거나 또는 구동장치(100)에서 일정거리가 이격된 상태에서 주변 영상을 수집하는 것으로, 카메라, 2차원 3차원 레이저 스캐너 등을 포함하여 구성이다. 수집된 영상정보는 장치 제어부(150) 제어에 따라 장비 통신부(110)를 통하여 원격지의 제어장치에 전달될 수 있다. 이러한 영상 수집부(140)는 구동장치(100), 예를 들어 로봇의 전면 중앙을 중심으로 좌, 우측을 일정 각도로 촬영할 수 있는 위치, 후면을 일정 각도로 촬영할 수 있는 위치를 중 적어도 한 곳 이상에 배치되는 카메라 또는 레이저 스캐너를 포함할 수 있다.
상기 장치 제어부(150)는 구동장치(100) 제어와 관련된 신호 흐름을 제어하고, 원격지 원격지의 제어장치(200)와의 통신을 통하여 구동장치(100) 제어를 수행하기 위한 다양한 제어를 수행할 수 있다. 먼저, 장치 제어부(150)는 원격지의 제어장치(200)와 무선 통신 채널을 형성하기 위한 신호 송신을 제어하고, 원격지의 제어장치(200)의 탑승자 인증을 시도할 수 있다. 즉 장치 제어부(150)는 원격지의 제어장치(200)로부터 원격 제어를 위한 무선 통신 채널 형성을 요청하는 메시지가 수신되면, 해당 원격지에 위치한 제어장치(200)로부터 원격 제어를 위한 무선 통신 채널 형성을 요청할 수 있다. 그리고 장치 제어부(150)는 원격지의 제어장치(200)가 사전 정의된 인증 정보를 제공하는 경우 구동장치(100)에 관한 권한을 할당 할 수 있다.
상기 장치 제어부(150)는 원격지의 제어장치(200) 접속에 의한 제어 권한 할당이 발생하면, 영상 수집부(140) 및 센서부(130)를 활성화하도록 제어할 수 있다. 그리고 장치 제어부(150)는 영상 수집부(140)가 수집한 영상정보를 장치 통신부(110)를 통해 원격지의 제어장치(200)에 전송하도록 제어할 수 있다. 또한 장치 제어부(150)는 센서부(130)의 자세정보 수집을 위하여 자유도 검출 및 자이로 센서를 활성화하도록 제어할 수 있다 그리고 장치 제어부(150)는 센서부(130)가 수집한 자세정보를 장치 통신부(110)를 통하여 원격지의 제어장치(200)에 전송하도록 제어할 수 있다.
한편, 장치 제어부(150)는 원격지의 제어장치(200)로부터 조작 정보가 전송되면, 장치 구동부(120)에 전달 할 수 있다. 이때 장치 제어부(150)는 조작 정보에 따라 좌표계를 계산하고, 계산된 좌표계에 따라 조작 정보에 해당하는 동작, 예를 들면 구동장치(100)의 회전이나 이동에 대한 방향 또는 카메라의 방향을 전환, 기울기를 수행하도록 지원할 수 있다. 이때 장치 제어부(150)는 구동장치(100)에 마련된 다양한 센서들 특히 카메라 방향 전환에 의하여 구동되는 각 구성들에 배치된 센서를 활성화하도록 제어하고, 장치 구동부(120)의 장치 운영에 따른 센싱 정보를 수집하도록 제어할 수 있다. 그리고 장치 제어부(150)는 수집된 센싱 정보를 조작정보에 대한 피드백 정보로서 원격지의 제어장치(200)에 전달하도록 제어할 수 있다.
한편 상술한 설명에서는 원격지의 제어장치(200)에 마련된 탑승형 스튜어트 플랫폼을 포함하는 자세 구현부(230)의 모션 재구현을 위하여 6 자유도 정보와 자이로 센서의 정보를 전달하는 것을 예로 하여 설명하였지만, 통신 데이터 부하 감량을 위하여 6 자유도 정보 전달 및 자이로 센서의 정보 전달은 상기 6 자유도 정보 또는 자이로 센서 정보 중 어느 하나만을 수행할 수 있다.
그리고 작업 환경을 고려할 경우 구동장치(100)의 6 자유도 정보 또는 자이로 센서 정보 중 어느 하나에 대한 정보 전송 여부를 결정하는 기 설정된 기준치는 해당 구동장치(100)의 자세에 의하여 결정될 수 있다. 예를 들어 구동장치(100)가 작업환경에 영향을 줄 수 있는 일정 각도 이상 일정 방향 쪽으로 기울어진 경우 장치 제어부(150)는 그 시점의 6 자유도 정보 또는 자이로 센서 즉 자세정보를 수집하여 전송하도록 제어할 수 있을 것이며, 원래의 위치 또는 평탄한 지면의 위치로 복귀하는 경우 자세 변환에 따른 자세정보 수집 및 전송을 제어할 수 있다.
반대로 장치 제어부(150)는 구동장치(100)의 자세가 일정 방향으로 일정 각도 이하의 기울기를 갖는 경우 이때에는 구동장치(100)의 자세정보 전송을 행하지 않는다. 여기서 상술한 일정 각도 또는 기 설정된 기준치는 실제 구동장치(100)의 크기나 구동장치(100)의 종류 등에 따라 실험적으로 계산될 수 있다.
상기 6 자유도 정보 또는 자이로 센서 정보 전송이 억제되는 경우 장치 제어부(150)는 구동장치(100)의 모션 정보를 수집하고, 해당 모션 정보를 원격지의 제어장치(200)에 전달하도록 제어할 수 있다. 구동장치(100)는 모션 정보 수집을 위하여 구동장치(100)의 작업 모듈, 예를 들면 센서부(130)에 마련된 자이로 센서(미도시)를 더 포함할 수 있으며, 상기 자이로 센서는 구동장치(100)에 설치된다. 여기서 자이로 센서는 구동장치(100)의 동작에 따른 기울기, 가속도 등의 정보를 수집하는 센서로서 예를 들면 가속도 센서, 방향 센서, 거리 감지 센서, 회전 감지 센서, 영상 촬영 센서 등 다양한 센서들 중 적어도 하나를 포함하여 구성될 수 있다.
또한 장치 제어부(150)는 별도의 모션 정보, 6 자유도 정보, 자이로 센서 정보 제공을 억제하고, 탑승형 스튜어트 플랫폼에 설치된 조작부의 조이스틱 또는 버튼 등에 의해 수신된 조작 정보에 대해서만 수행하도록 제어할 수 있다. 그리고 장치 제어부(150)는 외부 영상 수집부(141) 및 영상 수집부(140)가 수집한 영상 전송에만 주력하도록 지원할 수 있다.
상기에서 언급한 바와 같이 장치 제어부(150)는 여러 센서들에 의해 입력되는 센서 좌표계를 기준하여 구동장치(100)를 제어하거나 또는 6 자유도 정보 또는 자이로 센서 정보 등을 통해 구동장치(100)를 제어하는 것 중 어느 하나를 기준으로 구동장치(100)를 제어하며, 이러한 설정은 탑승형 스튜어트 플랫폼에 탑승한 탑승자가 인위적으로 선택할 수 있다.
도 3은 본 발명에 의한 제어장치의 구성을 나타낸 블록도이며, 도 4는 본 발명에 의한 제어장치의 실제 구현한 일례를 나타낸 도면이며, 도 5는 본 발명의 자세 구현부에 포함되는 스튜어트 플랫폼의 형태를 나타낸 도면이다.
도 3 내지 도 5를 참조하면, 본 발명의 원격지에 위치한 제어장치(200)는 제어장치 통신부(210), 조작부(220), 자세 구현부(230), 영상 출력부(240) 및 제어장치 제어부(250)의 구성을 포함할 수 있다.
상기 제어장치 통신부(210)는 원격지의 제어장치(200)의 통신 기능을 지원하는 구성이다. 이러한 제어장치 통신부(210)는 구동장치(100)에 마련된 장치 통신부(110)와 호환이 가능한 통신 모듈로 구성될 수 있다. 예를 들어 제어장치 통신부(210)는 3G, 4G, 와이브로, HSDPA 등 다양한 통신 방식을 지원하는 통신 모듈로 구성될 수 이다. 즉, 본 발명의 제어장치 통신부(210)는 특정한 통신 방식이나 통신 모듈로 한정되는 것은 아니며, 원격으로 떨어진 구동장치(100)의 장치 통신부(110)와 무선 통신 채널을 형성하고, 구동장치(100) 제어를 위한 데이터를 송신할 수 있는 다양한 통신 모듈 중 적어도 하나로 구성될 수 있을 것이다. 이러한 제어장치 통신부(210)는 구동장치(100)와 무선 통신 채널을 형성하는 과정에서 구동장치의 요청에 따라 인증 정보를 전달 수 있다. 그리고 제어장치 통신부(210)는 구동장치(100)로부터 영상정보 및 자세정보를 수신할 수 있다. 수시된 영상정보 및 자세정보는 제어장치 제어부(250)에 전달된다. 또한 제어장치 통신부(210)는 조작부(220) 조작에 의해 발생하는 조작 정보를 구동장치(100)에 전달할 수 있다.
상기 조작부(220)는 구동장치(100) 조작을 위한 다양한 조이스틱과 버튼 등을 포함하여 구성할 수 있다. 조작부(220)의 기계적 동작이 발생하면, 조작부(220)는 해당 기계적 동작에 대응하는 정보를 수집하고, 수집된 정보를 제어장치 제어부(250)에 전달 수 있다. 이때 조작부(220)는 해당 기계적 동작을 디지털화하고, 이를 제어장치 제어부(250)에 전달할 수 있다. 조작부(220)가 전달하는 정보는 각각의 조이스틱과 버튼 등을 구분할 수 있는 식별 정보 및 각 구성들의 움직임에 대응하는 움직임 값을 포함할 수 있다.
상기 자세 구현부(230)는 구동장치(100)로부터 전달받은 자세정보를 구현하는 구성이다. 이러한 자세 구현부(230)는 도 4에 도시된 바와 같이 스튜어트 플랫폼과 도 5에 도시된 바와 같이 스튜어트 플랫폼 상부에 놓이는 탑승석 및 조작부를 포함하여 구성될 수 있다. 스튜어트 플랫폼은 구동장치(100)의 센서부(130)가 수집한 6 자유도 검출 정보 또는 자이로 센서 정보를 적용하여 해당 검출 정보에 따른 움직임을 수행하는 구성이다. 스튜어트 플랫폼 상부에 놓이는 탑승석은 탑승자의 안착감을 위한 적절한 형태의 의자라면 어떻나 형태라도 적용 가능할 것이다. 여기서 의자 일측에는 앞서 설명한 조작부(220)의 적어도 일부가 내장되는 형태로 마련될 수 있다. 이러한 자세 구현부(230)는 구동장치(100) 조작법을 교습하거나 가상환경에서의 구동장치(100) 조작을 연습하기 위한 시뮬레이터에 적용되는 장비가 될 수 있다.
영상 출력부(240)는 헤드 마운트 디스플레이를 포함하여 구성될 수 있다. 이러한 영상 출력부(240)는 구동장치(100)가 전달한 영상정보를 출력하는 구성이다. 이때 영상 출력부(240)는 영상 수집부(140)에 포함되는 각 카메라의 개수와 상관없이 구성된다.
즉, 상기 카메라를 통해 인가되는 영상에 대하여 탑승자가 조작부에 의한 회전에 따른 방향의 전환이 발생하면, 그 방향에 따른 카메라의 영상만을 헤드 마운트 디스플레이를 통해 표시한다. 여기서 전면 영상의 경우 구동장치(100) 탑승석에 안착한 상태에서 바라보는 것과 같은 영상이 헤드 마운트 디스플레이에 표시되는 것이 바람직하다. 한편 영상 출력부(240)는 구동장치(100) 제어와 관련된 통신망 또는 시스템 상태에 관한 정보를 제공하는 관리 모니터를 포함할 수 있다. 또한 영상 출력부(240)의 관리 모니터는 전송되는 조작 정보 및 조작 정보에 대한 피드백 정보를 출력할 수 있다. 이에 따라 탑승자는 이외에 따른 사람이 해당 조작 정보와 피드백 정보를 비교를 통하여 확인되는 작업의 정확도를 확인할 수 있다.
제어장치 제어부(250)는 제어장치(200) 초기화 및 구동장치(100) 제어에 필요한 다양한 신호 흐름과 제어를 수행하는 구성이다. 이러한 제어장치 제어부(250)는 구동장치(100) 제어에 필요한 다양한 프로그램 및 제어장치 제어부(250) 운영을 위한 운용 프로그램을 로드하고 이를 기반으로 구동장치(100) 원격 제어를 지원할 수 있다. 특히 제어장치 제어부(250)는 탑승자가 자세 구현부(230)에 착석하여 턴-온에 대응하는 입력 신호를 생성하며 제어장치 제어부(250)를 구성하는 각 장치들 구동을 위해 필요로 하는 전원을 전원부로부터 공급하도록 제어할 수 있다.
그리고 제어장치 제어부(250)는 탑승자 요청에 따라 구동장치(100)에 포함된 장치 통신부(110)와 무선 통신 채널연결을 위한 제어를 수행할 수 있다. 이 과정에서 제어장치 제어부(250)는 사전에 장치 통신부(110)를 호출할 수 있는 호출 번호를 수집하고 이를 이용하여 상용망을 거쳐 장치 통신부와 무선 통신 채널을 형성할 수 있다. 이후 제어장치 제어부(250)는 구동장치(100)로부터 전달되는 영상정보 및 자세정보를 기반으로 영상 출력부(240) 구동 및 자세 구현부(230) 구동을 제어할 수 있다. 그리고 제어장치 제어부(250)는 조작부(220) 제어가 발생하면 해당 조작에 대응하는 조작 정보를 구동장치(100)에 전달하도록 제어할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 구동장치(100)를 원격으로 제어하여 작업 환경에 구애 받지 않고 다양한 작업을 보다 용이하고 손쉽게 수행할 수 있도록 지원한다. 특히 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치는 구동장치의 자세정보를 수집하여 이를 원격지의 제어장치(200)에서 구현함으로써 실제 구동장치(100), 즉 로봇을 제어하는 환경과 동일한 환경하에서 작업을 수행하도록 지원하여 작업 간 발생할 수 있는 오 작업 확률을 최소화 할 수 있다.
이상에서는 본 발명의 실시예에 따른 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치의 각 구성들과 구성들의 역할에 대하여 설명하였다. 이하에서는 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.
도 6은 본 발명에 의한 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법을 나타낸 도면이다.
도 6을 참조하면, 먼저 S10 단계에서 구동장치(100)와 원격지의 제어장치(200)는 데이터를 취득하기 위하여 구동장치(100)가 위치된 장소를 구동장치(100)에 설치된 카메라 또는 2차원/3차원 레이저 스캐너를 이용하여 데이터를 취득하는 과정을 행한다.
상기 데이터를 취득하기 위한 과정을 수행하기 전에 구동장치(100)와 원격지의 제어장치(200)는 무선 통신 채널을 형성하고 구동장치(100) 원격 제어를 위한 초기화하고, 이 초기화 이전에 구동장치(100) 및 원격지의 제어장치(200)는 각각 전원이 공급되는 턴-온 또는 시동 공급을 수행할 수 있다. 구동장치(100) 및 원격지의 제어장치(200)의 전원 공급이 완료되면 원격지의 제어장치(200)는 구동장치(100)에 포함된 장치 통신부(110)의 고유 식별 정보와 장치 통신부(110)가 가입한 상용망을 이용하여 장치 통신부(110) 호출을 위한 메시지 전송을 수행할 수 있다. 구동장치(100)는 상용망으로부터 원격지의 제어장치(200)가 자신을 호출하는 것을 확인하고, 그에 대응하는 응답 메시지를 원격지에 위치한 제어장치(200)에 전달할 수 있다. 이때 구동장치(100)는 원격지에 위치한 제어장치(200)가 원격 제어 권한을 가질 수 있는 지를 확인하기 위하여 인증 정보를 요청할 수 있다. 그러면 원격지에 위치한 제어장치(100)는 구동장치(200)에 인증 정보를 제공하고 인증 정보 확인 이후 무선 통신 채널 형성을 위한 과정을 수행할 수 있다. 여기서 인증 정보 확인은 설계자의 의도에 따라 생략될 수도 있다. 즉 원격지에 위치한 제어장치(200)가 구동장치(100)의 장치 통신부(110)의 고유 식별 번호를 독점적으로 관리 운영할 수 있는 경우 별도의 인증 정보확인 과정 없이 원격지의 제어장치(200) 요청에 따라 무선 통신 채널 형성을 위한 절차가 수행 될 수 있다. 무선 통신 채널이 형성되면 구동장치(100)와 원격지의 제어장치(200)는 각각 원격지 제어 및 원격지 제어에 따른 작업 수행을 위한 초기화 과정을 수행할 수 있다. 예를 들어 원격지에 위치한 제어장치(200)는 영상 출력부(240) 및 자세 구현부(230) 등에 전원을 공급할 수 있으며, 조작부(220)를 초기화하도록 제어할 수 있다. 구동장치(100)의 경우 영상 수집부(240)를 초기화 하고 기 설정된 카메라 설정 정보 또는 레이저 스캐너 설정 정보에 따라 카메라 또는 레이저 스캐너를 세팅하도록 제어할 수 있다. 또한 구동장치(100)의 경우 장치 구동부(120)를 운영하여 구동장치(100)의 각 구성들이 정상적으로 동작하는지 시운전을 수행하고, 시운전이 정상적으로 동작하는 경우 또는 비정상적으로 동작하는 경우 그에 대응하는 정보를 원격지 제어장치(200)에 전달하는 초기화를 수행할 수 있다.
다음으로 구동장치(100)는 영상 수집부(140)를 활성화하여 영상정보를 수집하는 한편 구동장치(100)의 자세정보를 수집하도록 제어할 수 있다.
이때 영상정보와 함께 구동장치(100)의 기울기, 방향 정보를 포함하는 자세정보, 카메라의 방향 및 기울기 등의 정보에 따른 좌표계를 장치 제어부(150)에 의해 장치 통신부(110)를 통해 원격지의 제어장치(200)로 송신된다.
상기 S11단계에서 데이터의 취득은 원격지의 구동장치(100)의 영상 수집부(140)에 의해 구동장치(100)의 전면 후면, 좌, 우측에 따른 카메라의 영상정보 또는 2차원 또는 3차원 레이저 스캐너에 의해 영상을 수집한다.
S12단계에서는 상기 S11단계를 통해 영상을 수집함과 동시에 구동장치(100)에 설치되어 있는 센서부(130)를 통해 구동장치(100)의 방향, 기울기 등의 자세정보 및 카메라의 방향 및 기울기에 대한 정보를 취득한다.
S13단계에서는 상기 S11단계와 S12단계를 통해 취득한 정보, 카메라 또는 레이저 스캐너에 의한 영상정보와 센서부(130)에 의해 취득한 구동장치(100)의 방향 및 기울기 정보와 카메라 또는 레이저 스캐너의 방향, 기울기 정보를 장치 제어부(150)의 제어를 통해 장치 통신부(110)를 의해 제어장치(200)의 제어장치 통신부(210)로 인가하는 과정을 행한다.
상기 제어장치(200)로 송신되는 데이터는 원격지의 제어장치(200)의 제어장치 통신부(210)를 통해 수신되고, 수시된 데이터는 S20 단계에서 제어장치 제어부(250)로 인가되어 센서에 따른 좌표계를 3 차원 공간을 가상현실에서 절대 좌표계를 재구성하거나 6 자유도 정보를 확인하여 탑승형 스튜어트 플랫폼을 제어할 수 있게 데이터 값을 재 구성한다. 상기 데이터는 초기에 구동장치(100)와 제어장치(200)의 자세를 서로 맞추기 위한 데이터의 교류이다. 그리고 초기 세팅이 완료된 상태에서는 탑승자가 조작하는 조이스틱 또는 버튼 등의 조작에 따른 정보를 제어장치 통신부(250)를 통해 구동장치(100)의 장치 통신부(110)를 거쳐 장치 제어부(150)로 인가하여 탑승자의 조작에 따른 구동장치(100)의 방향 또는 카메라 또는 레이저 스캐너의 방향을 조정할 수 있다.
상기 S20에서 센서 좌표계를 3차운 공간을 가상현실에서 절대 좌표계로 재구성한 후 탑승자가 착용하고 있는 헤드 마운트 디스플레이에 표출되는 영상을 특정화하기 위하여 S30 과정을 통해 이루어진다.
S30에서는 탑승자가 착용하고 있는 헤드 마운트 디스플레이와 조작부(220)를 통해 탑승자가 관심을 갖는 시야 정보를 특정화하는 것으로, 탑승자 좌표계 즉, 구동장치(100)에 설치되어 있는 카메라 또는 레이저 스캐너를 통해 입력되는 영상을 탑승자가 보고 있는 방향에 맞게 매칭시키는 과정을 행한다.
S40에서는 특정화된 탑승자 시야 정보에 따른 영상 데이터는 탑승자가 조작부를 통해 조작한 정보를 토대로 구동장치(100)에 설치되어 있는 카메라의 방향과 동일한 방향으로 영상을 헤드 마운트 디스플레이에서 표시하는데, 이때 영상은 센서부(130)에서 인가되는 좌표계를 기초로 영상을 제어장치 제어부(250)에서 편집한다.
다시 언급하면, 예를 들어 카메라의 방향이 구동장치(100)의 전면인 경우에는 영상의 매칭없이 그 영상을 그대로 탑승자가 착용하고 있는 헤드 마운트 디스플레이로 전송하여 표시하지만, 탑승자가 보고싶어 하는 방향이 전방과 측면의 중간 부분인 경우에는 전방의 영상과 측면의 영상을 동시에 수신하여 이를 제어장치 제어부(250)에서 헤드 마운트 디스플레이로 표시되는 영상의 크기를 설정한다.
헤드 마운트 디스플레이로 표시되는 영상의 크기에 따른 카메라의 방향에 의한 좌표계를 확인하여 이에 대한 두 영상을 서로 매칭시키고, 매칭시킨 영상을 상기 헤드 마운트 디스플레이로 표시한다.
상기 좌표계에 따른 영상을 재구성하여 탑승자가 착용하고 있는 헤드 마운트 디스플레이로 표시하므로 탑승자는 조작부(220)를 통해 자신이 보고자 하는 방향에 따른 영상을 보게 되고, 탑승자는 3차원 가상현실에서 구동장치(100)가 위치한 장소와 동일 또는 유사한 영상을 보게 되므로 보다 세밀한 작업이 가능해 지는 장점이 있다.
S50에서는 탑승자가 탑승형 스튜어트 플랫폼에서 탑승한 상태에서 구동장치(100)에 설치된 카메라를 통해 인가되는 데이터를 탑승자에 맞게 재구성하여 헤드 마운트 디스플레이를 통해 영상을 표시하고 있는 상태에서 탑승자가 조작부(220)를 조작하면, 그 조작 방향에 대한 탑승자 좌표계를 제어장치 제어부(250)에서 확인하고, 이를 구동장치(100)가 구동할 수 있는 센서 좌표계로 변환하여 장치 통신부(110)로 인가하여 장치 제어부(150)에서 수신하도록 한다.
상기 장치 제어부(150)에서는 상기 탑승자가 조작부(220)에 의해 탑승형 스튜어트 플랫폼이 회전하는 방향과 동일한 방향으로 구동장치(100)가 회전하도록 한다. 이때 탑승자가 착용하고 있는 헤드 마운트 디스플레이를 통해 구동장치(100)에 설치되어 있는 영상 수집부(140)에 의해 탑승자가 조작한 방향에 따른 영상을 표시하도록 한다.
즉 헤드 마운트 디스플레이로 구동장치(100)에 설치된 카메라를 통해 인가되는 영상에 따른 방향과 동일한 방향으로 탑승형 스튜어트 플랫폼이 전환을 함과 동시에 구동장치(100)의 기울기에 따른 센서 좌표계를 절대 좌표계로 변환한 데이터를 탑승형 스튜어트 플랫폼에 적용하여 영상의 회전과 함께 탑승형 스튜어트 플랫폼이 연동하여 자세를 보정하므로 3차원의 가상환경에서 발생되는 평행감각의 부조화를 탑승형 스튜어트 플랫폼을 통해 방지할 수 있다.
상술한 바와 같이 본 발명의 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법은 탑승자가 조작하는 방향에 따라 헤드 마운트 디스플레이로 표시되는 영상의 변화를 6 자유도 구현이 가능한 탑승형 스튜어트 플랫폼을 이용하여 영상의 방향에 따른 스튜어트 플랫폼의 자세를 보정하므로 영상의 변화에 의한 어지러움 증, 멀미 등을 방지할 수 있으므로 현장 작업 환경과 동일한 작업 환경에서 작업할 수 있도록 지원하여 보다 면밀하고 원활한 작업 수행을 지원할 수 있다.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 구동장치 110: 장치 통신부
120: 장치 구동부 130: 센서부
140: 영상 수집부 141: 외부 영상 수집부
150: 장치 제어부 200: 제어장치
210: 제어장치 통신부 220: 조작부
230: 자세 구현부 240: 영상 출력부
250: 제어장치 제어부
120: 장치 구동부 130: 센서부
140: 영상 수집부 141: 외부 영상 수집부
150: 장치 제어부 200: 제어장치
210: 제어장치 통신부 220: 조작부
230: 자세 구현부 240: 영상 출력부
250: 제어장치 제어부
Claims (8)
- 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치에 있어서,
제어장치와 무선 통신 채널을 형성하고, 해당 무선 통신 채널을 통하여 구동장치의 제어를 위한 조작정보를 수신하여 동작하며, 작업 환경 및 동작에 따른 구동장치 기울기 및 방향정보를 포함하는 자세정보, 카메라의 영상 방향 정보 및 영상정보를 전송하는 구동장치;
상기 구동장치로부터 수신되는 카메라의 영상정보를 헤드 마운트 디스플레이에 영상을 비출시에 발생하는 멀미 현상을 구동장치의 기울기 정보, 카메라의 영상 방향 정보에 따른 절대 좌표계 및 영상정보를 통해 스튜어트 플랫폼의 각도 및 기울기를 포함하는 자유도를 보상하여 상기 헤드 마운트 디스플레이를 착용하고 상기 스튜어트 플랫폼에 탑승한 탑승자의 멀미 현상을 극복할 수 있도록 도와주는 제어장치;
를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치. - 제1항에 있어서,
상기 구동장치는
상기 제어장치와 통신하기 위한 장치 통신부;
상기 조작 정보에 따라 구동장치의 방향 전환 및 전, 후진을 제어하는 장치 구동부;
상기 구동장치의 방향, 기울기 정보를 포함하는 자세정보, 카메라의 방향정보를 수집하는 센서부;
영상의 수집을 위한 적어도 하나의 카메라와 2차원 또는 3차원 레이저 스캐너를 포함하는 영상 수집부; 및
상기 제어장치에 데이터의 송수신을 제어하고, 구동장치의 자세정보, 카메라의 방향 및 영상정보의 수집을 제어하는 장치 제어부;
를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치. - 제2항에 있어서,
상기 센서부는
상기 구동 장치의 방향, 기울기를 포함하는 자세정보를 수집하는 구동장치 자이로 센서와, 카메라의 방향 정보를 수집하는 카메라 자이로 센서를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치. - 제1항에 있어서,
상기 제어장치는
상기 구동장치의 장치 통신부와 상용 망을 기반으로 무선 통신 채널을 형성하여 데이터의 송, 수신하는 제어장치 통신부;
상기 구동 장치 조작을 위한 조이스틱과 버튼 중 적어도 하나를 포함하는 조작부;
상기 구동장치의 기울기, 방향 및 카메라의 영상 방향 정보에 따라 스튜어트 플랫폼의 자세를 구동장치의 기울기 및 방향 및 카메라의 영상 방향 정보에 맞게 자세를 구현하는 자세 구현부;
상기 구동 장치가 전송한 영상정보를 헤드 마운트 디스플레이로 출력하는 영상 출력부;
탑승자의 조작에 따라 구동하는 구동장치와 데이터를 송신하고, 구동장치의 방향, 기울기 및 카메라의 영상 방향 정보를 통해 스튜어트 플랫폼의 자유도 제어 및 헤드 마운트 디스플레이의 영상 출력을 제어하여 탑승자의 평생감각을 보상하는 제어장치 제어부;
를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치. - 제4항에 있어서,
상기 제어장치 제어부는
구동장치에 설치된 카메라에 의해 촬영하여 인가되는 영상은 센서부의 센서 좌표계를 기준으로 탑승자가 착용하고 있는 헤드 마운트 디스플레이에 표시되는 영상에 맞게 매칭하여 헤드 마운트 디스플레이로 영상이 표시되는 것을 특징으로 하는 탑승형 플랫폼을 이용한 가상환경 멀미 극복 장치. - 제4항 또는 제5항에 있어서,
상기 제어장치 제어부는 탑승자가 착용한 헤드 마운트 디스플레이에서 표시되는 영상의 방향과 기울기에 따라 스튜어트 플랫폼이 동일한 방향과 기울기를 갖도록 하는 것을 특징으로 하는 탑승형 플랫폼을 이용한 가상환경 멀미 극복 장치. - 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법에 있어서,
조작부의 신호에 따라 영상 수집부와, 센서부를 통해 입력되는 구동장치의 자세정보, 카메라의 영상 및 방향 정보에 따른 데이터를 취득하는 단계;
구동장치의 통신부를 통해 전송 받은 데이터로 3차원 공간에 따른 센서 좌표계를 가상현실에서 절대 좌표계로 재구성하는 단계;
절대 좌표계의 3 차원 재구성 데이터를 탑승자 좌표계로 재 구성하는 단계;
탑승자가 착용하고 있는 헤드 마운트 디스플레이와 조작기를 통해 구동장치의 방향 및 카메라의 방향에 따른 탑승자가 관심을 갖는 시야 정보를 특정화하는 단계;
탑승자 좌표계에 따라 특정화된 영상정보에 의해 스튜어트 플랫폼 자유도 제어 및 탑승자 헤드 마운트 디스플레이에 탑승자 좌표계의 시야 정보의 출력을 제어하는 단계;
를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법. - 제 7항에 있어서,
상기 데이터를 취득하는 단계는,
구동장치의 카메라와 2차원 또는 3차원 레이저 스캐너를 포함하는 영상 수집부에 의해 영상정보를 취득하는 단계;
구동장치의 기울기, 방향 정보 카메라 또는 스캐너의 방향 정보를 센서부를 통해 취득하는 단계; 및
구동장치의 차체 기울기 정보, 카메라 방향 정보 및 2차원 또는 3차원 스캐너의 방향 정보를 장치 제어부로 인가하는 단계;
를 포함하는 것을 특징으로 하는 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140042152A KR101586195B1 (ko) | 2014-04-09 | 2014-04-09 | 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140042152A KR101586195B1 (ko) | 2014-04-09 | 2014-04-09 | 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150117309A KR20150117309A (ko) | 2015-10-20 |
KR101586195B1 true KR101586195B1 (ko) | 2016-01-20 |
Family
ID=54399679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140042152A KR101586195B1 (ko) | 2014-04-09 | 2014-04-09 | 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101586195B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101888364B1 (ko) | 2017-06-02 | 2018-08-14 | 주식회사 비주얼캠프 | 콘텐츠 표시 방법 및 이를 수행하기 위한 장치 |
WO2019074228A3 (ko) * | 2017-10-11 | 2019-06-06 | 한양대학교 산학협력단 | 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법 |
KR20210049328A (ko) | 2019-10-25 | 2021-05-06 | 스튜디오이온(주) | 360도 회전체가 부착된 6-dof 모션 플랫폼 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10832490B2 (en) | 2016-03-11 | 2020-11-10 | Sangwha Co., Ltd. | Virtual reality experience apparatus capable of providing experiencing user with virtual reality image and physical motion |
KR101885127B1 (ko) | 2016-03-11 | 2018-08-03 | 주식회사 상화 | 가상현실 체험장치 |
CN108155480A (zh) * | 2017-12-25 | 2018-06-12 | 西安电子科技大学 | 一种多波束天线调整平台及其控制系统与方法 |
KR102452500B1 (ko) | 2020-10-30 | 2022-10-07 | (주)아이엠티 | 턴테이블을 구비하는 모션 플랫폼의 제어 방법 |
KR102423745B1 (ko) | 2020-12-01 | 2022-07-21 | 주식회사 젠스템 | 3차원 모델 구동 엔진을 기반으로 모션 플랫폼의 순기구학을 구현하기 위한 방법 |
KR102499292B1 (ko) | 2020-12-01 | 2023-02-13 | 주식회사 젠스템 | 운용 범위 마진을 기반으로 큐잉 알고리즘을 구현하는 모션 플랫폼의 제어 방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000343468A (ja) | 1999-05-31 | 2000-12-12 | Matsushita Electric Works Ltd | ロボットの遠隔操作装置、これに使用される記録媒体、およびロボット遠隔操作システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130052822A (ko) | 2011-11-14 | 2013-05-23 | 전자부품연구원 | 중장비 원격 제어 시스템 및 제어 방법 |
-
2014
- 2014-04-09 KR KR1020140042152A patent/KR101586195B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000343468A (ja) | 1999-05-31 | 2000-12-12 | Matsushita Electric Works Ltd | ロボットの遠隔操作装置、これに使用される記録媒体、およびロボット遠隔操作システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101888364B1 (ko) | 2017-06-02 | 2018-08-14 | 주식회사 비주얼캠프 | 콘텐츠 표시 방법 및 이를 수행하기 위한 장치 |
WO2019074228A3 (ko) * | 2017-10-11 | 2019-06-06 | 한양대학교 산학협력단 | 가상 멀미 저감을 위한 헤드 마운티드 디스플레이 및 그 동작 방법 |
KR20210049328A (ko) | 2019-10-25 | 2021-05-06 | 스튜디오이온(주) | 360도 회전체가 부착된 6-dof 모션 플랫폼 |
Also Published As
Publication number | Publication date |
---|---|
KR20150117309A (ko) | 2015-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101586195B1 (ko) | 탑승형 스튜어트 플랫폼을 이용한 가상환경 멀미 극복 장치 및 방법 | |
US10269132B2 (en) | Displaying images according to head posture and camera posture | |
CN107111928B (zh) | 远程控制作业机用显示系统 | |
US9889770B2 (en) | System, methodologies, and components acquiring, analyzing, and using occupant body specifications for improved seating structures and environment configuration | |
CN102917205B (zh) | 车辆环绕视图系统 | |
CN104781873A (zh) | 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序 | |
JP5092776B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
JP2003267295A (ja) | 遠隔操縦システム | |
US11544030B2 (en) | Remote work-support system | |
JPWO2005124735A1 (ja) | 画像表示システム、画像表示方法および画像表示プログラム | |
JP6734400B2 (ja) | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 | |
US20180316911A1 (en) | Information processing apparatus | |
EP3599134B1 (en) | Accident report device and accident report method | |
WO2018109502A1 (en) | A system for providing a virtual reality experience | |
CN113467731A (zh) | 显示系统、信息处理装置和显示系统的显示控制方法 | |
KR20130052822A (ko) | 중장비 원격 제어 시스템 및 제어 방법 | |
US10885319B2 (en) | Posture control system | |
US12103161B2 (en) | Remote-controlled demolition robot with improved field of application and a method to achieve such a demolition robot | |
US11417050B2 (en) | Image adjustment device, virtual reality image display system, and image adjustment method | |
JP7230626B2 (ja) | ロボット装置 | |
CN110896446B (zh) | 影像传送系统 | |
JP2022053421A (ja) | 遠隔操作のための表示システム、表示方法およびプログラム | |
JP2020173699A (ja) | 映像出力システム及び映像出力方法 | |
JP7322692B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP2018160761A (ja) | 環境画像表示システム及び環境画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190107 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 5 |