KR101637553B1 - 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법 - Google Patents

파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법 Download PDF

Info

Publication number
KR101637553B1
KR101637553B1 KR1020140103827A KR20140103827A KR101637553B1 KR 101637553 B1 KR101637553 B1 KR 101637553B1 KR 1020140103827 A KR1020140103827 A KR 1020140103827A KR 20140103827 A KR20140103827 A KR 20140103827A KR 101637553 B1 KR101637553 B1 KR 101637553B1
Authority
KR
South Korea
Prior art keywords
image
threshold
virtual
repetition period
marker
Prior art date
Application number
KR1020140103827A
Other languages
English (en)
Other versions
KR20160019980A (ko
Inventor
임황용
김성표
김현종
Original Assignee
주식회사 에스.제이테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스.제이테크 filed Critical 주식회사 에스.제이테크
Priority to KR1020140103827A priority Critical patent/KR101637553B1/ko
Publication of KR20160019980A publication Critical patent/KR20160019980A/ko
Application granted granted Critical
Publication of KR101637553B1 publication Critical patent/KR101637553B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 보다 상세하게는 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것이다.

Description

파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법 {Method for making augmented reality educational contents using panorama videos}
본 발명은 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 보다 상세하게는 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것이다.
최근 미국 의회조사국(CRS)에서 발표한 자료에 따르면 대한민국은 2012년도 기준으로 제조업 부가가치 생산액 부분에서 중국, 미국, 일본, 독일에 이어 세계 5위에 위치되어 있고, 제조업이 국가 전체 경제에서 차지하는 비율, 즉 제조업의 부가가치 비중은 중국에 이어 세계 2위를 차지하고 있다.
그리고, 제조업의 노동생산성 증가비율과 GDP 대비 제조업 투자비율에서는 독보적인 1위를 차지하고 있어 대한민국의 정부 및 기업에서 경제발전을 위해 가장 노력을 기울이고 있는 부분이 제조업임을 확인할 수 있다.
이러한 제조업의 경우 효율적인 제조공정이 시장에서의 경쟁력이며, 기업의 이익을 보장하는 요소이므로 효율적인 제조공정의 설계가 경쟁력 향상을 위해 최우선적으로 고려되어야 한다.
현재까지 알려진 효율적인 제조공정 설계를 위한 일반적인 방법은 동작분석기법이 적용된 영상기반 프로그램을 활용하는 것으로, 표준작업의 도출 및 편성, 자재, 부품, 작업자의 배치 등의 공정 개선안을 도출하고 이를 실제 설비가 투입된 테스트베드를 통해 정량적인 공정검증을 실시하는 것이다.
이와 같은 동작분석방법으로 대한민국 등록특허공보 제10-1245231호에는 본 출원인이 출원한 동영상을 이용한 동작분석방법 및 그 프로그램이 기록된 기록 매체가 게재되어 있는데, 상기 등록특허를 포함한 종래의 동작분석방법은 초기 동작촬영 및 공정검증을 위해 테스트베드의 설치가 필수적으로 수반되어야 하므로 자금 운영이 비교적 양호한 기업에서만 제한적으로 사용할 수 있다는 단점이 있다.
전술한 바와 같이 GDP 대비 제조업 투자비율이 세계 1위에 위치하고는 있지만, 상당수의 중소기업은 자금운영 측면에서 공정개선을 위한 투자를 쉽게 결정하지 못하는 것이 현실이므로, 동작분석시스템을 통해 설계된 공정의 불확실성에 대한 리스크를 감수하면서 테스트 없이 바로 적용하거나, 공정개선을 위한 투자를 하지 못하게 되는 것이다.
즉, 기존의 동작분석방법 또는 동작분석시스템에 의한 제조공정의 설계는 실제 생산 설비를 설치하기 전까지 개선된 공정을 검증하는 것이 현실적으로 불가능하고, 공정검증 없이 생산설비를 설치할 경우 현장에서 문제점이 발견된다 하더라도 이를 수정하거나 동작분석시스템에 즉각적으로 피드백하는 것이 어렵다는 문제점이 있는 것이다.
이러한 문제점을 해결하기 위하여 최근에는 제조공정에 가상현실 기술을 도입하여 사용하기도 하는데, 종래의 제조공정에 적용된 가상현실 기술은 1인칭 시점의 3차원 제조공정 시뮬레이션 방법을 사용한다.
하지만 상기와 같은 방법은 프로그래밍 된 3차원 시뮬레이션을 설계자 또는 감독자의 1인칭 시점에서 관찰할 수 있을 뿐, 가상공간에 시뮬레이션 된 가상설비와 작업자 간의 실제 상호작용이 어떻게 진행되는지 확인할 수 없는 문제점이 있다.
또한, 하나의 개별 작업에 대한 시뮬레이션이 대부분이므로 제조라인 전체적으로 진행되는 복수의 작업, 즉 순차적으로 진행되는 연속적인 과정을 시뮬레이션 하지는 못한다는 단점이 있다.
그리고, 작업공정을 설계하거나 설계된 공정을 검증하기 위하여 작업자의 움직임을 측정하는 트래킹센서와 모니터를 이용하는 경우, 작업자의 몰입도가 떨어질 뿐 아니라 모니터를 사용자 시점에 따라 움직여야 하므로 부피가 커지게 되어 고가의 하드웨어 비용이 발생하게 되므로 작업자와 가상설비 간의 상호작용이 요구되는 전체적인 제조공정의 시뮬레이션으로 사용하기는 현실적으로 어려운 문제점이 있다.
1. 대한민국 등록특허공보 제10-1229283호(2013. 02. 15. 공고) 2. 대한민국 공개특허공보 제10-2012-0099973호(2012.09.12. 공개)
본 발명은 상기와 같은 종래기술의 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 하고, 설계된 제조공정에 따라 작업자를 교육시킬 수 있도록 하는 교육컨텐츠를 제작함으로써 공정개선을 위한 투자를 쉽게 결정하지 못하는 중소기업에서도 활용할 수 있는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 제공함에 있다.
또한, 본 발명은 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킴으로써 교육컨텐츠를 이용하는 작업자들에게 보다 나은 현실감과 부가 정보를 제공할 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 제공함에 다른 목적이 있다.
또한, 본 발명은 작업자의 작업과정을 작업자의 시선에서 직접 촬영하여 파노라마 영상으로 변환시킨 후 동작요소별로 분리할 수 있도록 함으로써 보다 세부적인 동작패턴의 분석이 가능하여 효율적인 제조공정 설계에 적용할 수 있을 뿐만 아니라, 작업현장에서 문제점이 발생될 경우 즉각적인 수정 및 피드백이 가능한 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 제공함에 또 다른 목적이 있다.
상기와 같은 목적들을 달성하기 위한 본 발명은,
작업자가 착용하는 헬멧에 설치된 카메라를 이용하여 작업자의 작업과정을 촬영하는 작업촬영단계와; 상기 작업촬영단계에서 촬영된 영상을 파노라마 영상으로 변환시키는 영상변환단계와; 가상 설비를 포함한 가상의 작업공간을 실제와 동일한 크기로 모델링하여 프로그램화하는 가상작업공간 생성단계와; 상기 영상변환단계에서 변환된 파노라마 영상을 실제와 동일한 크기로 변환시키는 크기변환단계 및 상기 가상작업공간 생성단계에서 생성된 가상의 작업공간과 크기변환단계에서 변환된 파노라마 영상을 매칭시키는 영상결합단계를 포함하여 구성된 것을 특징으로 한다.
이때, 상기 작업촬영단계에서 사용되는 헬멧의 전방에는 작업자의 전면을 촬영하는 제1카메라가 설치되고, 헬멧의 좌,우 양측면에는 작업자의 좌,우 방향을 각각 촬영하는 제2 및 제3카메라가 설치된 것을 특징으로 한다.
또한, 상기 작업촬영단계에서는 작업자가 작업을 수행하는 작업대 상의 작업을 시작하는 위치에 이미지 마커를 표시하고, 상기 가상작업공간 생성단계에서는 상기 이미지 마커와 동일한 크기의 이미지 마커를 가상작업공간의 동일한 위치에 형성시키는 것을 특징으로 한다.
그리고, 상기 크기변환단계는 영상변환단계에서 변환된 파노라마 영상에서 일부 구간을 추출하여 해당 영상에서의 이미지 마커의 면적과 변환 각도를 측정하는 면적 및 각도 측정단계와; 상기 작업촬영단계에서 표시된 이미지 마커의 실제 면적과, 면적 및 각도 측정단계에서 측정된 이미지 마커의 면적을 비교하여 실제 촬영영상과 변환된 파노라마 영상 사이의 축척을 계산하는 축척 연산단계 및 면적 및 각도 측정단계에서 추출된 영상에서의 이미지 마커를 기준으로 한 가상의 공간좌표를 설정하고, 축척 연산단계에서 연산된 축척을 적용하여 추출된 영상을 실제크기로 변환시키는 축척 적용단계를 포함하여 구성된 것을 특징으로 한다.
또한, 상기 영상결합단계에서는 가상의 작업공간과 파노라마 영상에 각각 표시된 이미지 마커가 이루는 각도를 비교하여 각도의 차이만큼 가상의 작업공간을 회전시킴으로써 파노라마 영상에 매칭시키는 것을 특징으로 한다.
그리고, 상기 크기변환단계에서 변환된 영상에서 작업자의 손움직임을 분석하여 반복주기를 연산하고 연산된 반복주기 단위로 영상을 분리하는 손움직임 분석단계를 더 포함하는 것을 특징으로 한다.
이때, 상기 손움직임 분석단계는 파노라마 영상을 통해 확인되는 작업자의 손움직임 궤적을 2차원화하는 차원변환단계와, 2차원으로 변환된 손움직임 궤적을 이용한 수치해석을 통해 손움직임의 반복주기를 구하는 반복주기 연산단계 및 반복주기 연산단계에서 연산된 반복주기 단위로 영상을 분리하는 영상분리단계를 포함하여 구성된 것을 특징으로 한다.
그리고, 상기 손움직임 분석단계에서 반복주기 단위로 분리된 영상을 다시 동작요소별로 분리하는 동작요소 분리단계;를 더 포함하여 구성된 것을 특징으로 한다.
또한, 상기 동작요소 분리단계는 반복주기별로 분리된 영상 중 제1영상을 선정하여 동작요소를 분리하기 위한 제1임계점들을 설정하는 제1임계점 설정단계와, 상기 제1영상의 중심점을 기준으로 한 제1임계점들 사이의 공간적 관계를 연산하는 제1임계점 위치확인단계와, 상기 제1임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제1임계점 분리단계와, 반복주기별로 분리된 영상 중 제n영상을 선정하여 제1임계점 위치확인단계에서 확인된 제1임계점의 위치를 기준으로 한 제n임계점을 설정하는 제n임계점 설정단계와, 상기 제n임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제n임계점 분리단계 및 상기 제n임계점 분리단계 이후에 분리된 동작요소의 시작부분과 끝부분 사이의 범위에 포함되지 않는 영상 구간을 삭제하는 마무리단계를 포함하여 구성된 것을 특징으로 한다.
그리고, 상기 영상변환단계에서 변환된 파노라마 영상에 작업자들의 교육에 사용될 내용을 입력하는 교육내용 입력단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 하고, 설계된 제조공정에 따라 작업자를 교육시킬 수 있도록 하는 교육컨텐츠를 제작함으로써 공정개선을 위한 투자를 쉽게 결정하지 못하는 중소기업에서도 활용할 수 있는 뛰어난 효과를 갖는다.
또한, 본 발명에 따르면 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킴으로써 교육컨텐츠를 이용하는 작업자들에게 보다 나은 현실감과 부가 정보를 제공할 수 있도록 하는 효과를 추가로 갖는다.
또한, 본 발명에 따르면 작업자의 작업과정을 작업자의 시선에서 직접 촬영하여 파노라마 영상으로 변환시킨 후 동작요소별로 분리할 수 있도록 함으로써 보다 세부적인 동작패턴의 분석이 가능하여 효율적인 제조공정 설계에 적용할 수 있을 뿐만 아니라, 작업현장에서 문제점이 발생될 경우 즉각적인 수정 및 피드백이 가능한 효과를 추가로 갖는다.
도 1은 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 나타낸 흐름도.
도 2는 도 1에 나타낸 본 발명 중 작업촬영단계에서의 촬영영역을 개념적으로 나타낸 도면.
도 3은 도 1에 나타낸 본 발명 중 작업촬영단계에서 작업자가 착용하는 헬멧을 나타낸 사시도.
도 4는 도 1에 나타낸 본 발명 중 영상변환단계에서 변환된 파노라마 영상의 실시예를 개념적으로 나타낸 도면.
도 5 내지 도 7은 도 1에 나타낸 본 발명 중 손움직임 분석단계에서 작업자의 손움직임을 분석하는 과정을 나타낸 도면.
도 8의 (a),(b)는 도 1에 나타낸 본 발명 중 동작요소 분리단계의 과정을 나타낸 도면.
이하, 첨부된 도면을 참고로 하여 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법의 바람직한 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 나타낸 흐름도이고, 도 2는 도 1에 나타낸 본 발명 중 작업촬영단계에서의 촬영영역을 개념적으로 나타낸 도면이며, 도 3은 도 1에 나타낸 본 발명 중 작업촬영단계에서 작업자가 착용하는 헬멧을 나타낸 사시도이고, 도 4는 도 1에 나타낸 본 발명 중 영상변환단계에서 변환된 파노라마 영상의 실시예를 개념적으로 나타낸 도면이며, 도 5 내지 도 7은 도 1에 나타낸 본 발명 중 손움직임 분석단계에서 작업자의 손움직임을 분석하는 과정을 나타낸 도면이고, 도 8의 (a),(b)는 도 1에 나타낸 본 발명 중 동작요소 분리단계의 과정을 나타낸 도면이다.
본 발명은 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 본 발명에서 사용되는 증강현실 기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
이와 같은 증강현실은 현실 환경과 가상환경을 융합하는 복합형 가상현실 시스템으로 현실세계를 가상세계로 보완해주는 개념을 가지며 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실 환경이다.
이때, 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 하는 것으로, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실 환경과 가상화면과의 구분이 모호해지도록 한다.
한편, 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제 환경을 볼 수 없지만 실제환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다.
이에 본 발명은 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킨 것으로, 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법은 도 1에 나타낸 바와 같이, 크게 작업촬영단계(S10), 영상변환단계(S20), 가상작업공간 생성단계(S30), 크기변환단계(S40) 및 영상결합단계(S70)를 포함하여 이루어진다.
보다 상세히 설명하면, 상기 작업촬영단계(S10)는 효율적인 제조공정 설계를 위해 작업자의 동작패턴을 분석하기 위함과 동시에, 증강현실 교육컨텐츠에서 현실 환경에 해당하는 부분을 제작하기 위하여 작업자의 작업과정을 촬영하는 단계에 관한 것으로, 보다 실재적인 작업과정의 촬영을 위해 작업자가 착용하는 안전모 등의 헬멧(10)에 카메라(12)를 설치하여 작업자의 시선에서 작업과정을 촬영할 수 있도록 구성되어 있다.
즉, 본 발명은 제조업 분야에서 효율적인 제조공정 설계를 통해 경쟁력을 향상시킬 수 있도록 하고, 설계된 제조공정에 증강현실기술을 적용하여 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠를 제작할 수 있도록 하는 것에 주목적이 있으므로 교육컨텐츠의 제작에 선행되는 효율적인 제조공정의 설계를 위해서는 보다 정확한 작업 동작의 분석이 무엇보다도 중요하고, 그에 따라 작업자의 헬멧(10)에 카메라(12)를 설치함으로써 작업자의 시선에서 작업동작을 보다 정확히 촬영할 수 있도록 한 것이다.
이때, 도 3에 나타낸 바와 같이, 상기 헬멧(10)에는 총 3대의 카메라(12)가 설치될 수 있는데, 전방에 제1카메라(12a)가 설치되고, 좌, 우 양측으로 각각 제2 및 제3카메라(12b, 12c)가 설치되어 작업도중 작업자의 손이 이동하는 모든 방향을 촬영할 수 있도록 구성되어 있다.
즉, 상기 작업촬영단계(S10)에서는 작업자의 헬멧(10)에 설치된 3대의 카메라(12a,12b,12c)에 의해 도 2에 나타낸 바와 같이, 작업자의 전방과 좌,우 양측을 촬영하는 총 3개의 영상을 획득할 수 있게 된다.
또한, 작업자가 작업을 수행하는 작업대에는 이미지 마커(30)를 표시하는데, 상기 이미지 마커(30)는 작업자가 작업을 시작하는 위치에 표시되어 후술할 크기변환단계(S40), 영상결합단계(S70)에서의 변환의 기준이 됨과 동시에 손움직임 분석단계(S50)와 동작요소 분리단계(S60)에서의 중심점의 역할을 하는 것이다.
이때, 상기 이미지 마커(30)는 촬영된 영상의 각도 변화 및 면적 변화를 용이하게 파악할 수 있도록 하기 위하여 사각형의 형상으로 표시되며, 작업자가 두 손을 함께 사용하는 경우, 두 손의 움직임을 각각 파악할 수 있도록 두 개의 이미지 마커(30)를 사용할 수도 있다.
한편, 상기 헬멧(10)에 장착되는 카메라(12)로는 촬영된 영상을 전기적인 신호로 변환하여 저장 및 전송이 용이한 CCD 카메라(Charge Coupled Device Camera) 또는 촬영영상의 전송이 용이한 IP카메라 등이 사용될 수 있다.
다음, 상기 영상변환단계(S20)는 작업촬영단계(S10)에서 촬영된 영상을 파노라마 영상으로 변환시킴으로써 작업자의 손 움직임을 보다 용이하게 분석할 수 있도록 하는 역할을 하는 것이다.
즉, 상기 작업촬영단계(S10)에서의 작업과정 촬영도중 작업자의 손 움직임이 헬멧(10)의 전면부에 설치된 제1카메라(12a)에 의한 촬영영상의 범위를 벗어난 경우, 제1카메라(12a)에 의한 촬영 영상만으로는 작업자의 동작 분석을 할 수 없게 되므로, 헬멧(10)에 설치된 제1,2,3카메라(12a,12b,12c)에 의해 촬영된 영상을 파노라마 영상으로 변환시킨 후 작업자의 전체적인 손동작을 분석하게 되는 것이다.
이때, 제1,2,3카메라(12a,12b,12c)에 의한 촬영영상을 파노라마 영상으로 변환시키는 것은 이미 개발되어 프로그램화되어 있으므로 PC 등을 통해 구현할 수 있고, 본 발명에서 권리로서 청구하고자 하는 바가 아니므로 이에 대한 상세한 설명은 생략하기로 한다.
다음, 상기 가상작업공간 생성단계(S30)는 작업공정에 사용되는 설비를 포함하는 가상의 작업공간을 CAD 또는 SOLIDWORKS 등의 설계 프로그램을 이용하여 컴퓨터 그래픽으로 생성하는 단계에 관한 것으로, 실제 사용되는 설비 및 작업공간과 동일한 크기로 생성한다.
즉, 본 발명은 실제 생산설비를 설치하지 않고서도 제조공정을 개선 및 검증할 수 있도록 하고, 개선된 제조공정을 작업자들에게 교육시킬 수 있도록 하는 교육컨텐츠를 제공하는 것에 주목적이 있으므로, 컴퓨터 그래픽을 이용하여 가상설비를 포함하는 가상작업공간을 실제와 동일한 크기로 재현시킨 후 후술할 크기변환단계(S40)에서 변환된 영상 또는 동작요소 분리단계(S60)에서 분리된 작업촬영단계(S10)에서의 촬영 영상과 중첩시킴으로써 작업자의 교육에 활용할 수 있도록 구성된 것이다.
이때, 상기 가상작업공간에는 작업촬영단계(S10)에서 작업대에 표시되었던 이미지 마커(30)와 동일한 크기를 갖는 이미지 마커(30)가 동일 위치에 표시되도록 하여 가상의 작업공간을 상기 촬영 영상과 중첩시키는 경우 기준점으로 활용할 수 있도록 한다.
다음, 상기 크기변환단계(S40)는 영상변환단계(S20)에서 변환된 파노라마 영상을 실제, 즉 최초 촬영된 영상과 동일한 크기로 변환시키는 단계에 관한 것으로, 면적 및 각도측정단계(S41), 축척연산단계(S42) 및 축척적용단계(S43)를 포함하여 이루어진다.
보다 상세히 설명하면, 상기 면적 및 각도측정단계(S41)는 영상변환단계(S20)에서 변환된 파노라마 영상에서 일부 구간을 추출하여 추출된 영상에서의 이미지 마커(30')의 면적과 변환각도를 측정하는 단계에 관한 것이고, 상기 축척연산단계(S42)는 작업촬영단계(S10)에서 표시된 이미지 마커(30)의 실제 면적과 면적 및 각도측정단계(S41)에서 측정된 이미지 마커(30')의 면적을 비교하여 실제촬영영상과 변환된 파노라마 영상 사이의 축척을 계산하는 단계에 관한 것이다.
즉, 변환된 파노라마 영상과 실제 촬영영상에서의 이미지 마커(30',30)의 면적을 각각 측정하여 그 변화량을 축척으로 활용함으로써 영상변환단계(S20)에서 변환된 파노라마 영상을 실제 크기와 동일하게 변환시킬 수 있도록 하는 것이다.
이때, 변환된 파노라마 영상에서 확인되는 이미지 마커(30')의 회전각도(θM)를 측정하고, 실제 촬영영상에서의 이미지 마커(30)를 기준으로 한 각도 변화를 고려하여 이미지 마커(30',30)의 면적을 비교하게 된다.
다음, 상기 축척적용단계(S43)는 축척연산단계(S42)에서 연산된 축척을 이용하여 추출된 영상을 실제크기로 변환시키는 단계에 관한 것으로, 파워디렉터나 소니베가스 등의 영상편집프로그램을 사용하여 영상을 변환시킬 수 있다.
이때, 도 4에 나타낸 바와 같이, 상기 축척적용단계(S43)에서는 면적 및 각도 측정단계(S41)에서 추출된 영상에서의 이미지 마커(30')를 중심으로 하는 가상의 공간좌표를 설정하여 추출된 영상에 포함된 작업자의 손움직임(①,②,③)에 대한 위치를 정의하고, 영상에 포함된 이미지 마커(30')의 기울기(θM)과, 도 2에 나타낸 작업자의 헬멧(10)에 구비된 제1카메라(12a)와 제2카메라(12b)에 의한 촬영영상 사이의 각도(θ12) 및 제1카메라(12a)와 제3카메라(12c)에 의한 촬영영상 사이의 각도(θ13)를 고려하여 실제크기로 변환된 파노라마 영상을 다시 제1 내지 제3카메라(10a.10b,10c)에 의해 촬영된 영상으로 분리시킬 수도 있음은 물론이다.
다음, 상기 영상결합단계(S70)는 가상작업공간 생성단계(S30)에서 생성된 가상의 작업공간과 크기변환단계(S40)에서 변환된 파노라마 영상 또는 파노라마 영상으로부터 제1 내지 제3카메라(12a,12b,12c)에 의해 촬영된 영상으로 분리된 영상을 중첩시킴으로써 컴퓨터 프로그래밍에 의해 생성된 가상의 공간과 카메라에 의해 촬영된 실제 공간을 매칭시키는 단계에 관한 것이다.
즉, 전술한 영상편집프로그램을 이용하여 가상의 작업공간과, 파노라마 영상을 중첩시킨 상태에서, 가상의 작업공간에 표시된 이미지 마커(30)의 중심과, 파노라마 영상에 표시된 이미지 마커(30')의 중심을 일치시킨 후, 파노라마 영상에 표시된 이미지 마커(30')의 각도, 즉 파노라마 영상의 수직방향 중심축과 이미지 마커(30')가 이루는 각도(θM)만큼 가상의 작업공간을 회전시킴으로써 컴퓨터 프로그래밍에 의해 생성된 가상의 작업공간을 카메라(12)에 의해 촬영된 실제 공간에 매칭시킬 수 있게 된다.
한편, 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법은 크기변환단계(S40) 이후에 손움직임 분석단계(S50)와 동작요소 분리단계(S60)를 더 포함하여 구성될 수도 있는데, 상기 손움직임 분석단계(S50)와 동작요소 분리단계(S60)는 작업촬영단계(S10)에서 촬영된 작업자의 손움직임을 분석하고, 이를 반복주기 및 동작요소별로 분리함으로써 전체적인 작업과정을 세분화함과 동시에 불필요한 작업과정을 바로잡음으로써 최적의 제조공정을 설계하여 작업자들의 교육컨텐츠로 활용할 수 있도록 하는 것이다.
이때, 상기 손움직임 분석단계(S50)는 크기변환단계(S40)에서 변환된 영상에서 작업자의 손움직임을 분석하여 손움직임의 반복주기를 연산하고, 연산된 반복주기에 따라 영상을 분리하는 단계에 관한 것으로, 차원변환단계(S51), 반복주기 연산단계(S52) 및 영상분리단계(S53)를 포함하여 이루어진다.
보다 상세히 설명하면, 상기 차원변환단계(S51)는 파노라마 영상을 통해 확인되는 작업자의 손움직임 궤적을 2차원화함으로써 작업자의 작업과정을 보다 단순화하여 분석할 수 있도록 하는 역할을 하는 것으로, 도 5에 나타낸 바와 같은, 파노라마 영상을 통해 확인되는 작업자의 손의 궤적에서 임의의 지점들을 추출하고, 임의의 지점들 사이의 거리, 각도, 시간을 측정하여 2차원으로 표시한다.
즉, 도 5에 나타낸 파노라마 영상에 표현된 작업자 손의 궤적에서 임의의 두 지점을 각각 H1, H2라 할 때, 파노라마 영상에 표현된 이미지 마커(30')를 원점으로 하는 가상의 좌표를 설정한 후, H1과 H2의 좌표 차이에 의한 기울기를 θ라 하고, H1으로부터 H2에 이르기까지 걸린 시간 즉, H1과 H2에서의 시간의 차이를 Δt라 하며, H1과 H2의 좌표에 의한 거리의 차를 Δℓ이라 정의할 수 있고, 이를 이용하면 파노라마 영상에 표현된 작업자 손의 궤적을 시간(t)에 따른 기울기(θ)의 변화에 대한 함수 또는 거리(ℓ)에 따른 기울기(θ)의 변화에 대한 함수와 같은 2차원 함수로 표현할 수 있게 되는 것이다.
다음, 상기 반복주기 연산단계(S52)는 차원변환단계(S51)에서 2차원으로 변환된 작업자의 손움직임 궤적을 수치해석을 통해 변환하여 반복주기를 구하는 단계에 관한 것으로, 작업자의 손움직임 궤적 분석을 통해 작업자의 손동작이 반복되는 주기를 구하는 것이다.
보다 상세히 설명하면, 반복주기를 구하기 위해서는 파노라마 영상에 표현된 작업자 손의 궤적에서 시간에 따른 기울기 변화의 누적분포를 이용할 수 있는데, 기울기 변화의 누적 분포를 그대로 표현할 경우 발산하게 되어 반복주기를 구할 수 없게 되므로 sin, cos함수를 이용하게 된다.
즉, 파노라마 영상을 통해 표현된 작업자 손의 궤적이 일정한 싸이클로 반복될 경우, 시간에 따른 기울기의 변화 또한 반복될 것이므로 이의 변화 확인할 경우 반복주기를 구할 수 있게 되는데, 시간에 따른 기울기 변화의 누적분포를 사용할 경우 지속되는 변화에 의해 발산할 것이므로 sin과 cos함수를 이용한 수치해석을 통해 누적분포가 발산하지 않고 일정한 패턴으로 반복될 수 있도록 연산하는 것이다.
이때, 상기와 같은 반복주기 연산을 위한 수치해석은 MATLAB 등의 수치해석프로그램을 통해 이루어질 수 있으며, 그 결과 도 6에 나타낸 바와 같은 반복주기를 모니터 등의 출력수단을 통해 확인할 수 있게 된다.
또한, 도 7은 상기 도 6에 나타낸 함수에서 기울기의 변화가 0인 지점을 기준으로 하여 임의의 두 지점 사이의 기울기의 변화가 +인 경우 +1로 표시하고, 임의의 두 지점 사이의 기울기의 변화가 -인 경우 -1로 표시하여 나타낸 것으로, 상기와 같이 표시할 경우 손움직임의 반복주기를 확인할 수 있음은 물론, 손움직임의 변화를 보다 용이하게 확인할 수 있게 된다.
다음 상기 영상분리단계(S53)는 영상편집 프로그램을 이용하여 파노라마 영상을 반복주기 연산단계(S52)에서 연산된 반복주기별로 분리하는 단계에 관한 것으로, 상기와 같은 영상의 분리를 통해 보다 세부적인 작업동작의 패턴 분석이 가능하게 된다.
이때, 상기 영상분리단계(S53)에서는 반복주기별로 분리되는 영상의 시작과 끝 부분에 여유 구간을 포함시킴으로써 전체 영상을 반복주기별로 보다 확실히 구분할 수 있도록 함과 동시에 분리된 영상들사이의 비교 분석을 보다 용이하게 할 수 있도록 하는 것이 바람직하다.
다음, 상기 동작요소 분리단계(S60)는 영상분리단계(S53)에서 반복주기별로 분리된 영상을 다시 동작요소별로 분리함으로써 작업자의 전체적인 작업과정을 동작요소별로 분석할 수 있도록 하는 역할을 하는 것으로, 제1임계점 설정단계(S61), 제1임계점 위치확인단계(S62), 제1임계점 분리단계(S63), 제n임계점 설정단계(S64), 제n임계점 분리단계(S65) 및 마무리 단계(S66)를 포함하여 이루어진다.
보다 상세히 설명하면, 상기 제1임계점 설정단계(S61)는 영상분리단계(S53)에서 반복주기별 영상 중 하나의 영상(이하, '제1영상'이라고 한다)을 선정하여 동작요소를 분리하기 위한 제1임계점들을 설정하는 단계에 관한 것으로, 반복주기별로 분리된 영상을 터치스크린(미도시)을 통해 시현하고, 작업과정에 능통한 관리자가 시현되는 영상을 확인하는 도중 동작요소별로 분리가 되는 임계점 부분을 터치하여 마킹하는 방식에 의해 제1임계점들을 설정할 수 있게 된다.
다음, 상기 제1임계점 위치확인단계(S62)는 제1임계점 설정단계(S61)에서 설정된 제1임계점들 사이의 공간적 관계를 설정하여 연산을 통해 제1임계점들의 위치를 확인하는 단계에 관한 것으로, 영상에 표시된 이미지 마커(30')를 중심점으로 하여 가상의 좌표를 설정한 후 제1임계점들 사이의 공간적 관계를 정의함으로써 제1임계점들의 위치를 연산할 수 있게 된다.
즉, 도 8의 (a)에 나타낸 바와 같이, 제1영상에서 선정된 제1임계점들을 각각 ①, ②, ③이라 하고, 중심점으로 사용할 이미지 마커(30')의 기울기를 θm이라 할 경우, 이미지 마커(30')를 기준으로 한 ①, ②, ③ 사이의 공간적 관계를 연산할 수 있으므로 제1임계점 ①에서 ②로 향하는 작업자의 제1동작과, 제1임계점 ②에서 ③으로 향하는 작업자의 제2동작을 정의할 수 있게 되는 것이다.
다음, 상기 제1임계점 분리단계(S63)는 제1영상에서 선정된 제1임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 단계에 관한 것으로, 영상편집 프로그램을 이용하여 제1임계점들 사이의 구간들을 각각 분리하면, 반복주기별로 분리되었던 영상을 다시 동작요소별로 분리할 수 있게 되어 작업자의 전체적인 작업과정을 최소단위로 세분화할 수 있게 된다.
다음, 상기 제n임계점 설정단계(S64)는 반복주기별로 분리된 영상 중 제1영상을 제외한 n번째 영상을 선정하여 n번째 영상에서의 제n임계점들을 설정하는 단계에 관한 것으로, 상기 제1임계점 위치확인단계(S62)에서 확인된 제1임계점들 사이의 공간적 관계를 참조하여 제n임계점들을 설정하게 된다.
보다 상세히 설명하면, 도 8의 (b)에 나타낸 바와 같이, n번째 영상, 즉 제n영상에서 확인되는 이미지 마커(30')의 기울기를 θmn이라 할 경우, 제1임계점 위치확인단계(S52)에서 확인된 제1영상에서의 이미지 마커(30') 기울기 θm과 이미지 마커(30')를 원점으로 한 가상의 좌표를 통해 연산된 제1임계점 ①, ②, ③ 사이의 공간적 관계를 좌표변환을 통해 제n영상에서 확인되는 이미지 마커(30)의 기울기 θmn에 대한 함수로 변환시킴으로써 각각 ①', ②', ③'로 표현되는 제n임계점들을 제n영상에 표시할 수 있게 되는 것이다.
다음, 상기 제n임계점 분리단계(S65)는 제n임계점 설정단계(S64)에서 설정된 제n임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 단계에 관한 것으로, 전술한 제1임계점 분리단계(S63)에서와 마찬가지로, 제n임계점 ①'에서 ②'로 향하는 작업자의 제1'동작과, 제n임계점 ②'에서 ③'로 향하는 작업자의 제2'동작으로 영상을 분리하게 된다.
다음, 상기 마무리단계(S66)는 제n임계점 분리단계(S65)까지 마무리되어 전체적인 작업과정 촬영 영상에 대한 반복주기별 분리 및 동작요소별 분리가 완료된 상태에서 설정된 동작요소의 시작부분과 끝부분 사이에 포함되지 않는 동작이 포함된 영상구간을 삭제하는 단계에 관한 것이다.
즉, 작업자의 전체적인 작업과정을 반복주기별 및 동작요소별로 분리한 경우 분리된 영상의 비교를 통해 작업자의 작업동작 패턴을 확인할 수 있고, 그에 따라 동작요소별로 분리된 영상에서 작업자의 동작요소 중 시작부분과 끝부분 사이에 포함되지 않은 동작, 즉 불필요한 작업동작을 확인할 수 있게 되므로 불필요한 작업동작이 포함된 구간을 삭제함으로써 최적의 제조공정의 설계가 가능하도록 하는 것이다.
따라서, 상기와 같은 과정을 통해 작업현장에서 이루어지는 작업자의 전체적인 동작 과정을 동작요소별로 분리할 수 있게 되고, 그에 따라 작업자의 동작요소별 작업패턴을 세부적으로 분석할 수 있게 되어 실제 설비가 투입된 테스트베드를 통해 정량적인 공정검증 없이도 효율적인 제조공정의 설계가 가능하게 되고, 동작요소별로 분리된 영상에 가상작업공간 생성단계(S30)에서 생성된 가상의 작업공간을 중첩시킴으로써 설계된 제조공정에 따라 작업자들을 교육할 수 있는 교육컨텐츠를 제작할 수 있게 되는 것이다.
한편, 상기 손움직임 분석단계(S50)와 동작요소 분리단계(S60)는 크기변환단계(S40) 이후에 실시되는 것으로 설명되었으나, 필요에 따라 영상변환단계(S20) 이후 손움직임 분석단계(S50)와 동작요소 분리단계(S60)를 실시한 후 크기변환단계(S40)를 실시함으로써 동작요소별로 분리된 영상의 크기를 변환하여 실제 촬영된 크기와 같아지도록 할 수도 있음은 물론이다.
또한, 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육컨텐츠 제작방법은 교육내용 입력단계(S80)를 더 포함하여 구성될 수도 있는데, 상기 교육내용 입력단계(S80)는 영상변환단계(S20)에서 변환된 파노라마 영상에 작업자들의 교육을 위한 교육내용을 입력시키는 단계에 관한 것이다.
즉, 본 발명의 최종 목표는 증강현실을 이용한 교육컨텐츠를 제작하는 것에 있으므로 증강현실 중 현실세계의 역할을 하는 파노라마 영상에 작업자들에게 필요한 교육내용을 입력시킴으로써 영상을 확인하는 작업자들이 보다 용이하게 작업내용을 숙지할 수 있도록 하는 것이다.
이때, 상기 교육내용은 키보드 등의 입력수단을 이용한 텍스트 형태로 입력될 수도 있고, 마이크와 같은 입력수단을 이용한 음성 형태로 입력될 수도 있음은 물론이다.
또한, 상기 교육내용 입력단계(S80)는 파노라마 영상에 교육내용을 입력시키는 것이므로, 영상변환단계(S20) 이후 어느 곳에나 위치할 수 있게 된다.
즉, 키보드나 마이크 등의 입력수단을 이용하여 텍스트 또는 음성 형태의 교육내용을 입력하는 것은 영상자체의 크기나 영상내부에 포함된 작업자의 움직임을 변형시키는 것은 아니므로, 가상작업공간 생성단계(S30)에서 가상의 작업공간과 파노라마 영상을 매칭시키는 영상결합단계(S70)의 전,후에 선택적으로 사용될 수 있는 것이다.
또한, 상기 교육내용 입력단계(S80)를 동작요소 분리단계(S60)의 이후에 배치하여 동작요소 분리단계(S60)에서 분리된 임계점을 기준으로 한 동작요소별 교육내용을 텍스트 또는 음성으로 입력시킬 수도 있음은 물론이다.
전술한 바와 같이 구성된 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육컨텐츠 제작방법에 의하면, 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 하고, 설계된 제조공정에 따라 작업자를 교육시킬 수 있도록 하는 교육컨텐츠를 제작함으로써 공정개선을 위한 투자를 쉽게 결정하지 못하는 중소기업에서도 활용할 수 있을 뿐만 아니라, 작업자의 작업과정을 작업자의 시선에서 직접 촬영하여 파노라마 영상으로 변환시킨 후 동작요소별로 분리할 수 있도록 함으로써 보다 세부적인 동작패턴의 분석이 가능하여 효율적인 제조공정 설계에 적용할 수 있고, 작업현장에서 문제점이 발생될 경우 즉각적인 수정 및 피드백이 가능하며, 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킴으로써 교육컨텐츠를 이용하는 작업자들에게 보다 나은 현실감과 부가 정보를 제공할 수 있는 등의 다양한 장점을 갖는 것이다.
전술한 실시예들은 본 발명의 가장 바람직한 예에 대하여 설명한 것이지만, 상기 실시예에만 한정되는 것은 아니며, 손움직임 분석단계에서의 분석을 위해 통상의 키보드나 마우스가 포함된 컴퓨터 또는 대체수단을 사용하고, 촬영된 동영상이나 분리된 파노라마 영상을 재생하는 수단으로 통상의 모니터를 사용하는 등 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 것은 당업자에게 있어서 명백한 것이다.
본 발명은 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 보다 상세하게는 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것이다.
10 : 헬멧 12 : 카메라
12a : 제1카메라 12b : 제2카메라
12c : 제3카메라 30, 30' : 이미지 마커
S10 : 작업촬영단계 S20 : 영상변환단계
S30 : 가상작업공간 생성단계 S40 : 크기변환단계
S41 : 면적 및 각도 측정단계 S42 : 축척연산단계
S43 : 축척적용단계 S50 : 손움직임 분석단계
S51 : 차원변환단계 S52 : 반복주기 연산단계
S53 : 영상분리단계 S60 : 동작요소 분리단계
S61 : 제1임계점 설정단계 S62 : 제1임계점 위치확인단계
S63 : 제1임계점 분리단계 S64 : 제n임계점 설정단계
S65 : 제n임계점 분리단계 S66 : 마무리단계
S70 : 영상결합단계

Claims (10)

  1. 작업자가 착용하는 헬멧에 설치된 카메라를 이용하여 작업자의 작업과정을 촬영하는 작업촬영단계와;
    파노라마 영상 변환프로그램을 이용하여 상기 작업촬영단계에서 촬영된 영상을 파노라마 영상으로 변환시키는 영상변환단계와;
    설계프로그램을 이용하여 가상 설비를 포함한 가상의 작업공간을 실제와 동일한 크기로 모델링하여 컴퓨터 그래픽으로 생성하는 가상작업공간 생성단계와;
    영상편집프로그램을 사용하여 상기 영상변환단계에서 변환된 파노라마 영상을 실제와 동일한 크기로 변환시키는 크기변환단계와;
    상기 크기변환단계에서 변환된 영상에서 작업자의 손움직임을 분석하여 수치해석프로그램을 통해 반복주기를 연산하고, 영상편집프로그램을 사용하여 연산된 반복주기 단위로 영상을 분리하는 손움직임 분석단계; 및
    영상편집프로그램을 사용하여 상기 가상작업공간 생성단계에서 생성된 가상의 작업공간과 크기변환단계에서 변환된 파노라마 영상을 매칭시키는 영상결합단계;를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  2. 제 1항에 있어서,
    상기 작업촬영단계에서 사용되는 헬멧의 전방에는 작업자의 전면을 촬영하는 제1카메라가 설치되고, 헬멧의 좌,우 양측면에는 작업자의 좌,우 방향을 각각 촬영하는 제2 및 제3카메라가 설치된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  3. 제 1항에 있어서,
    상기 작업촬영단계에서는 작업자가 작업을 수행하는 작업대 상의 작업을 시작하는 위치에 이미지 마커를 표시하고, 상기 가상작업공간 생성단계에서는 상기 이미지 마커와 동일한 크기의 이미지 마커를 가상작업공간의 동일한 위치에 형성시키는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  4. 제 3항에 있어서,
    상기 크기변환단계는 영상변환단계에서 변환된 파노라마 영상에서 일부 구간을 추출하여 해당 영상에서의 이미지 마커의 면적과 변환 각도를 측정하는 면적 및 각도 측정단계와;
    상기 작업촬영단계에서 표시된 이미지 마커의 실제 면적과, 면적 및 각도 측정단계에서 측정된 이미지 마커의 면적을 비교하여 실제 촬영영상과 변환된 파노라마 영상 사이의 축척을 계산하는 축척 연산단계 및
    면적 및 각도 측정단계에서 추출된 영상에서의 이미지 마커를 기준으로 한 가상의 공간좌표를 설정하고, 축척 연산단계에서 연산된 축척을 적용하여 추출된 영상을 실제크기로 변환시키는 축척 적용단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  5. 제 3항에 있어서,
    상기 영상결합단계에서는 가상의 작업공간과 파노라마 영상에 각각 표시된 이미지 마커가 이루는 각도를 비교하여 각도의 차이만큼 가상의 작업공간을 회전시킴으로써 파노라마 영상에 매칭시키는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 손움직임 분석단계는 파노라마 영상을 통해 확인되는 작업자의 손움직임 궤적을 2차원화하는 차원변환단계와,
    2차원으로 변환된 손움직임 궤적을 이용한 수치해석을 통해 손움직임의 반복주기를 구하는 반복주기 연산단계 및
    반복주기 연산단계에서 연산된 반복주기 단위로 영상을 분리하는 영상분리단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  8. 제 1항에 있어서,
    영상편집프로그램을 사용하여 상기 손움직임 분석단계에서 반복주기 단위로 분리된 영상을 다시 동작요소별로 분리하는 동작요소 분리단계;를 더 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  9. 제 8항에 있어서,
    상기 동작요소 분리단계는 반복주기별로 분리된 영상 중 제1영상을 선정하여 동작요소를 분리하기 위한 제1임계점들을 설정하는 제1임계점 설정단계와,
    상기 제1영상의 중심점을 기준으로 한 제1임계점들 사이의 공간적 관계를 연산하는 제1임계점 위치확인단계와,
    상기 제1임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제1임계점 분리단계와,
    반복주기별로 분리된 영상 중 제n영상을 선정하여 제1임계점 위치확인단계에서 확인된 제1임계점의 위치를 기준으로 한 제n임계점을 설정하는 제n임계점 설정단계와,
    상기 제n임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제n임계점 분리단계 및
    상기 제n임계점 분리단계 이후에 분리된 동작요소의 시작부분과 끝부분 사이의 범위에 포함되지 않는 영상 구간을 삭제하는 마무리단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
  10. 제 1항에 있어서,
    키보드 또는 마이크를 포함하는 입력수단을 이용하여 상기 영상변환단계에서 변환된 파노라마 영상에 작업자들의 교육에 사용될 내용을 텍스트 또는 음성 형태로 입력하는 교육내용 입력단계를 더 포함하는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.






KR1020140103827A 2014-08-11 2014-08-11 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법 KR101637553B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140103827A KR101637553B1 (ko) 2014-08-11 2014-08-11 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140103827A KR101637553B1 (ko) 2014-08-11 2014-08-11 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법

Publications (2)

Publication Number Publication Date
KR20160019980A KR20160019980A (ko) 2016-02-23
KR101637553B1 true KR101637553B1 (ko) 2016-07-08

Family

ID=55448954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140103827A KR101637553B1 (ko) 2014-08-11 2014-08-11 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법

Country Status (1)

Country Link
KR (1) KR101637553B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877114B1 (ko) * 2016-05-12 2018-07-10 전자부품연구원 패시브 센싱을 이용한 사용자 행동 인식 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050710B1 (ko) * 2010-11-03 2011-07-20 (주)텔레콤랜드 소방작업을 위한 스마트 웨어
KR101334980B1 (ko) * 2012-12-11 2013-11-29 세종대학교산학협력단 증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013833A1 (en) 2005-09-15 2007-02-01 Oleg Stanilasvovich Rurin Method and system for visualising virtual three-dimensional objects
KR100964951B1 (ko) * 2008-10-29 2010-06-21 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
KR20120099973A (ko) 2011-03-02 2012-09-12 김석수 환경정보 인터랙션을 활용한 마커 기반의 증강현실 교육용 콘텐츠 저작 시스템 및 방법
KR20130123117A (ko) * 2012-05-02 2013-11-12 동국대학교 산학협력단 스마트 헬멧

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050710B1 (ko) * 2010-11-03 2011-07-20 (주)텔레콤랜드 소방작업을 위한 스마트 웨어
KR101334980B1 (ko) * 2012-12-11 2013-11-29 세종대학교산학협력단 증강현실 콘텐츠 저작 장치 및 증강현실 콘텐츠 저작 방법

Also Published As

Publication number Publication date
KR20160019980A (ko) 2016-02-23

Similar Documents

Publication Publication Date Title
JP7231306B2 (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
JP6551184B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
CN108153240B (zh) 增强现实模拟装置以及计算机可读介质
JP2020095009A (ja) コンピュータによる鉄筋測定検査システム
Kim et al. Improvement of realism of 4D objects using augmented reality objects and actual images of a construction site
US20100134601A1 (en) Method and device for determining the pose of video capture means in the digitization frame of reference of at least one three-dimensional virtual object modelling at least one real object
JP5030953B2 (ja) 第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体
US20110109628A1 (en) Method for producing an effect on virtual objects
JP6642153B2 (ja) ３次元計測プログラム、３次元計測方法、および３次元計測システム
WO2019093457A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101242089B1 (ko) 대화형 무대 장치 및 그의 시뮬레이션 방법
KR101637553B1 (ko) 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법
KR101610912B1 (ko) 파노라마 영상을 이용한 동작패턴 분석방법
KR101496761B1 (ko) 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법
Tushev et al. Photogrammetric system accuracy estimation by simulation modelling
Baytaş et al. LabDesignAR: configuring multi-camera motion capture systems in augmented reality
JP6253834B1 (ja) 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法
CN115240140A (zh) 基于图像识别的设备安装进度监控方法及系统
Barna et al. Open source tools in assembling process enriched with elements of augmented reality
JP7098473B2 (ja) 画像処理装置、及び画像処理方法
JPH0981779A (ja) 部分立体モデルの作成方法及び装置
JP2021064267A (ja) 画像処理装置、及び画像処理方法
KR102563138B1 (ko) 건설현장 시공 및 감리용 증강현실 지원 시스템
JP7274782B1 (ja) 建屋内構造物認識システム及び建屋内構造物認識方法
Ahmed Memon et al. A systematic procedure for developing the 3D model to evaluate the construction project progress

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant