KR20160019980A - Method for making augmented reality educational contents using panorama videos - Google Patents
Method for making augmented reality educational contents using panorama videos Download PDFInfo
- Publication number
- KR20160019980A KR20160019980A KR1020140103827A KR20140103827A KR20160019980A KR 20160019980 A KR20160019980 A KR 20160019980A KR 1020140103827 A KR1020140103827 A KR 1020140103827A KR 20140103827 A KR20140103827 A KR 20140103827A KR 20160019980 A KR20160019980 A KR 20160019980A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual
- threshold
- repetition period
- work space
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 16
- 239000003550 marker Substances 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000000926 separation method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 61
- 238000012360 testing method Methods 0.000 abstract description 9
- 238000011028 process validation Methods 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 238000012795 verification Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 보다 상세하게는 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것이다.
The present invention relates to a method of producing an augmented reality education content using a panoramic image, and more particularly, to a method of producing an augmented reality education content using a panorama image, It is possible to design an efficient manufacturing process without quantitative process verification through a test bed in which the actual equipment is installed by combining the equipment with the equipment, and at the same time, it is possible to train the workers according to the designed manufacturing process. .
최근 미국 의회조사국(CRS)에서 발표한 자료에 따르면 대한민국은 2012년도 기준으로 제조업 부가가치 생산액 부분에서 중국, 미국, 일본, 독일에 이어 세계 5위에 위치되어 있고, 제조업이 국가 전체 경제에서 차지하는 비율, 즉 제조업의 부가가치 비중은 중국에 이어 세계 2위를 차지하고 있다.According to a recent report by the US Congressional Research Service (CRS), Korea is ranked fifth in the world after China, the United States, Japan and Germany in the value of manufacturing value added by 2012, and the ratio of manufacturing The value added portion of the manufacturing sector is the second largest in the world after China.
그리고, 제조업의 노동생산성 증가비율과 GDP 대비 제조업 투자비율에서는 독보적인 1위를 차지하고 있어 대한민국의 정부 및 기업에서 경제발전을 위해 가장 노력을 기울이고 있는 부분이 제조업임을 확인할 수 있다.In addition, the ratio of increase in labor productivity of manufacturing industry and manufacturing investment ratio to GDP occupies the first place, and it can be confirmed that the manufacturing sector is the manufacturing sector that is making the most efforts for economic development in the government and enterprises of the Republic of Korea.
이러한 제조업의 경우 효율적인 제조공정이 시장에서의 경쟁력이며, 기업의 이익을 보장하는 요소이므로 효율적인 제조공정의 설계가 경쟁력 향상을 위해 최우선적으로 고려되어야 한다.In such a manufacturing industry, efficient manufacturing processes are competitive in the market, and it is a factor to secure the profit of the enterprise. Therefore, the design of the efficient manufacturing process should be considered as the top priority for improving competitiveness.
현재까지 알려진 효율적인 제조공정 설계를 위한 일반적인 방법은 동작분석기법이 적용된 영상기반 프로그램을 활용하는 것으로, 표준작업의 도출 및 편성, 자재, 부품, 작업자의 배치 등의 공정 개선안을 도출하고 이를 실제 설비가 투입된 테스트베드를 통해 정량적인 공정검증을 실시하는 것이다.A common method for efficient manufacturing process design known so far is to utilize image-based program with motion analysis technique and to derive process improvement proposals such as derivation and organization of standard work, arrangement of materials, parts and workers, And quantitative process validation through the input test bed.
이와 같은 동작분석방법으로 대한민국 등록특허공보 제10-1245231호에는 본 출원인이 출원한 동영상을 이용한 동작분석방법 및 그 프로그램이 기록된 기록 매체가 게재되어 있는데, 상기 등록특허를 포함한 종래의 동작분석방법은 초기 동작촬영 및 공정검증을 위해 테스트베드의 설치가 필수적으로 수반되어야 하므로 자금 운영이 비교적 양호한 기업에서만 제한적으로 사용할 수 있다는 단점이 있다.As such a motion analysis method, Korean Patent Registration No. 10-1245231 discloses a motion analysis method using moving pictures and a recording medium on which the program is recorded, which is filed by the present applicant. In the conventional motion analysis method Has a disadvantage in that it is necessary to install a test bed for initial operation photographing and process verification, and thus it can be limitedly used only in a relatively well-funded enterprise.
전술한 바와 같이 GDP 대비 제조업 투자비율이 세계 1위에 위치하고는 있지만, 상당수의 중소기업은 자금운영 측면에서 공정개선을 위한 투자를 쉽게 결정하지 못하는 것이 현실이므로, 동작분석시스템을 통해 설계된 공정의 불확실성에 대한 리스크를 감수하면서 테스트 없이 바로 적용하거나, 공정개선을 위한 투자를 하지 못하게 되는 것이다.As mentioned above, although the ratio of manufacturing investment to GDP is at the top in the world, many SMEs can not easily determine the investment for process improvement in terms of fund management. Therefore, the uncertainty of the process designed through the motion analysis system It is risk-free and can not be applied immediately without testing, or invested in process improvement.
즉, 기존의 동작분석방법 또는 동작분석시스템에 의한 제조공정의 설계는 실제 생산 설비를 설치하기 전까지 개선된 공정을 검증하는 것이 현실적으로 불가능하고, 공정검증 없이 생산설비를 설치할 경우 현장에서 문제점이 발견된다 하더라도 이를 수정하거나 동작분석시스템에 즉각적으로 피드백하는 것이 어렵다는 문제점이 있는 것이다.That is, it is practically impossible to verify the improved process until the actual production facility is installed, and there is a problem in the field when the production facility is installed without process verification There is a problem in that it is difficult to correct it or to immediately feedback to the motion analysis system.
이러한 문제점을 해결하기 위하여 최근에는 제조공정에 가상현실 기술을 도입하여 사용하기도 하는데, 종래의 제조공정에 적용된 가상현실 기술은 1인칭 시점의 3차원 제조공정 시뮬레이션 방법을 사용한다.In order to solve such a problem, a virtual reality technology has been recently introduced into a manufacturing process, and a virtual reality technology applied to a conventional manufacturing process uses a first-person-point three-dimensional manufacturing process simulation method.
하지만 상기와 같은 방법은 프로그래밍 된 3차원 시뮬레이션을 설계자 또는 감독자의 1인칭 시점에서 관찰할 수 있을 뿐, 가상공간에 시뮬레이션 된 가상설비와 작업자 간의 실제 상호작용이 어떻게 진행되는지 확인할 수 없는 문제점이 있다.However, the above method has a problem in that it is impossible to confirm how the actual interaction between the simulated virtual facility and the worker proceeds in the virtual space, only the programmed 3D simulation can be observed at the first person's viewpoint of the designer or supervisor.
또한, 하나의 개별 작업에 대한 시뮬레이션이 대부분이므로 제조라인 전체적으로 진행되는 복수의 작업, 즉 순차적으로 진행되는 연속적인 과정을 시뮬레이션 하지는 못한다는 단점이 있다.In addition, there is a disadvantage in that it is not possible to simulate a plurality of operations proceeding on the entire manufacturing line, that is, sequential processes progressing sequentially, since most of the simulations are performed for one individual operation.
그리고, 작업공정을 설계하거나 설계된 공정을 검증하기 위하여 작업자의 움직임을 측정하는 트래킹센서와 모니터를 이용하는 경우, 작업자의 몰입도가 떨어질 뿐 아니라 모니터를 사용자 시점에 따라 움직여야 하므로 부피가 커지게 되어 고가의 하드웨어 비용이 발생하게 되므로 작업자와 가상설비 간의 상호작용이 요구되는 전체적인 제조공정의 시뮬레이션으로 사용하기는 현실적으로 어려운 문제점이 있다.In addition, when a tracking sensor and a monitor for measuring the movement of an operator are used to design a work process or to verify a designed process, not only the worker's immersion is reduced but also the monitor has to be moved according to the user's point of view, Hardware costs are incurred. Therefore, it is difficult to use it as a simulation of the entire manufacturing process requiring interaction between the operator and the virtual facility.
본 발명은 상기와 같은 종래기술의 문제점들을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 하고, 설계된 제조공정에 따라 작업자를 교육시킬 수 있도록 하는 교육컨텐츠를 제작함으로써 공정개선을 위한 투자를 쉽게 결정하지 못하는 중소기업에서도 활용할 수 있는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the problems of the prior art as described above, and it is an object of the present invention to provide an apparatus and a method for efficiently designing a manufacturing process without quantitative process verification through a test bed, The present invention provides a method for producing an augmented reality education content using a panorama image that can be utilized by a small and medium sized company that can not easily determine an investment for process improvement by producing educational contents for educating an operator.
또한, 본 발명은 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킴으로써 교육컨텐츠를 이용하는 작업자들에게 보다 나은 현실감과 부가 정보를 제공할 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 제공함에 다른 목적이 있다.In addition, the present invention applies an augmented reality technology to the production of educational contents that can design an efficient manufacturing process and educate workers accordingly, thereby providing better realism and additional information to workers using educational contents The present invention provides a method of producing an augmented reality education content using a panoramic image.
또한, 본 발명은 작업자의 작업과정을 작업자의 시선에서 직접 촬영하여 파노라마 영상으로 변환시킨 후 동작요소별로 분리할 수 있도록 함으로써 보다 세부적인 동작패턴의 분석이 가능하여 효율적인 제조공정 설계에 적용할 수 있을 뿐만 아니라, 작업현장에서 문제점이 발생될 경우 즉각적인 수정 및 피드백이 가능한 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 제공함에 또 다른 목적이 있다.
Further, according to the present invention, the work process of the operator can be directly photographed and converted into a panoramic image, and then separated into operating elements, so that detailed operation patterns can be analyzed and applied to an efficient manufacturing process design Another object of the present invention is to provide a method for producing an augmented reality education content using a panorama image capable of instantaneous correction and feedback when a problem occurs in a worksite.
상기와 같은 목적들을 달성하기 위한 본 발명은,According to an aspect of the present invention,
작업자가 착용하는 헬멧에 설치된 카메라를 이용하여 작업자의 작업과정을 촬영하는 작업촬영단계와; 상기 작업촬영단계에서 촬영된 영상을 파노라마 영상으로 변환시키는 영상변환단계와; 가상 설비를 포함한 가상의 작업공간을 실제와 동일한 크기로 모델링하여 프로그램화하는 가상작업공간 생성단계와; 상기 영상변환단계에서 변환된 파노라마 영상을 실제와 동일한 크기로 변환시키는 크기변환단계 및 상기 가상작업공간 생성단계에서 생성된 가상의 작업공간과 크기변환단계에서 변환된 파노라마 영상을 매칭시키는 영상결합단계를 포함하여 구성된 것을 특징으로 한다.A work photographing step of photographing a work process of a worker using a camera installed in a helmet worn by an operator; An image conversion step of converting the image photographed in the operation photographing step into a panoramic image; A virtual work space creation step of modeling a virtual work space including a virtual facility to the same size as the actual work space and programming the virtual work space; A size conversion step of converting the panorama image converted in the image conversion step to the same size as the actual size, and an image combining step of matching the panorama image converted in the size conversion step with the virtual work space created in the virtual workspace creation step .
이때, 상기 작업촬영단계에서 사용되는 헬멧의 전방에는 작업자의 전면을 촬영하는 제1카메라가 설치되고, 헬멧의 좌,우 양측면에는 작업자의 좌,우 방향을 각각 촬영하는 제2 및 제3카메라가 설치된 것을 특징으로 한다.At this time, a first camera for photographing the front side of the worker is installed in front of the helmet used in the work photographing step, and second and third cameras for photographing the left and right directions of the worker on both left and right sides of the helmet .
또한, 상기 작업촬영단계에서는 작업자가 작업을 수행하는 작업대 상의 작업을 시작하는 위치에 이미지 마커를 표시하고, 상기 가상작업공간 생성단계에서는 상기 이미지 마커와 동일한 크기의 이미지 마커를 가상작업공간의 동일한 위치에 형성시키는 것을 특징으로 한다.In addition, in the job photographing step, an image marker is displayed at a position where an operator starts an operation on a work bench on which an operation is performed. In the virtual work space creation step, an image marker having the same size as the image marker is displayed at the same position As shown in FIG.
그리고, 상기 크기변환단계는 영상변환단계에서 변환된 파노라마 영상에서 일부 구간을 추출하여 해당 영상에서의 이미지 마커의 면적과 변환 각도를 측정하는 면적 및 각도 측정단계와; 상기 작업촬영단계에서 표시된 이미지 마커의 실제 면적과, 면적 및 각도 측정단계에서 측정된 이미지 마커의 면적을 비교하여 실제 촬영영상과 변환된 파노라마 영상 사이의 축척을 계산하는 축척 연산단계 및 면적 및 각도 측정단계에서 추출된 영상에서의 이미지 마커를 기준으로 한 가상의 공간좌표를 설정하고, 축척 연산단계에서 연산된 축척을 적용하여 추출된 영상을 실제크기로 변환시키는 축척 적용단계를 포함하여 구성된 것을 특징으로 한다.The size conversion step may include an area and angle measurement step of extracting a section from the panorama image converted in the image conversion step and measuring an area of the image marker and a conversion angle of the image marker in the corresponding image; A scale calculation step of calculating a scale between the actual photographed image and the converted panorama image by comparing the actual area of the image marker displayed in the job photographing step with the area of the image marker measured in the area and angle measurement step, And a scale applying step of setting a virtual space coordinate based on the image marker in the image extracted in the step and applying the scale calculated in the scale calculating step to convert the extracted image into an actual size. do.
또한, 상기 영상결합단계에서는 가상의 작업공간과 파노라마 영상에 각각 표시된 이미지 마커가 이루는 각도를 비교하여 각도의 차이만큼 가상의 작업공간을 회전시킴으로써 파노라마 영상에 매칭시키는 것을 특징으로 한다.In addition, in the image combining step, the virtual work space is compared with the angle formed by the image markers respectively displayed on the panoramic image, and the virtual work space is rotated by the difference in angle to match the panoramic image.
그리고, 상기 크기변환단계에서 변환된 영상에서 작업자의 손움직임을 분석하여 반복주기를 연산하고 연산된 반복주기 단위로 영상을 분리하는 손움직임 분석단계를 더 포함하는 것을 특징으로 한다.The hand movement analyzing step may further include analyzing a hand movement of the operator in the image converted in the resizing step, calculating a repetition period, and separating the image in the calculated repetition period unit.
이때, 상기 손움직임 분석단계는 파노라마 영상을 통해 확인되는 작업자의 손움직임 궤적을 2차원화하는 차원변환단계와, 2차원으로 변환된 손움직임 궤적을 이용한 수치해석을 통해 손움직임의 반복주기를 구하는 반복주기 연산단계 및 반복주기 연산단계에서 연산된 반복주기 단위로 영상을 분리하는 영상분리단계를 포함하여 구성된 것을 특징으로 한다.At this time, the hand motion analyzing step may include a dimension converting step of converting the hand motion locus of the operator identified through the panorama image into two dimensions, and a repetition period of the hand motion through a numerical analysis using the two- And an image separating step of separating the image in repetition period units calculated in the repetition period calculation step and the repetition period calculation step.
그리고, 상기 손움직임 분석단계에서 반복주기 단위로 분리된 영상을 다시 동작요소별로 분리하는 동작요소 분리단계;를 더 포함하여 구성된 것을 특징으로 한다.And separating an image separated by a repetition period unit in the hand motion analysis step for each operation element again.
또한, 상기 동작요소 분리단계는 반복주기별로 분리된 영상 중 제1영상을 선정하여 동작요소를 분리하기 위한 제1임계점들을 설정하는 제1임계점 설정단계와, 상기 제1영상의 중심점을 기준으로 한 제1임계점들 사이의 공간적 관계를 연산하는 제1임계점 위치확인단계와, 상기 제1임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제1임계점 분리단계와, 반복주기별로 분리된 영상 중 제n영상을 선정하여 제1임계점 위치확인단계에서 확인된 제1임계점의 위치를 기준으로 한 제n임계점을 설정하는 제n임계점 설정단계와, 상기 제n임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제n임계점 분리단계 및 상기 제n임계점 분리단계 이후에 분리된 동작요소의 시작부분과 끝부분 사이의 범위에 포함되지 않는 영상 구간을 삭제하는 마무리단계를 포함하여 구성된 것을 특징으로 한다.The operation element separating step may include a first threshold setting step of setting first thresholds for selecting a first image among the separated images for each repetition period and separating the operation elements, A first threshold point positioning step of computing a spatial relationship between the first threshold points, a first threshold point separation step of setting intervals between the first threshold points as a single operation element and separating them, An nth critical point setting step of selecting an nth image among the images and setting an nth critical point based on the position of the first critical point identified in the first critical point positioning step, An n-th threshold dividing step of separating and setting an operation element of the n-th threshold dividing step, and an n-th threshold dividing step of dividing the image section not included in the range between the beginning and the end of the separated operation element Including the step of finishing is characterized in that configured.
그리고, 상기 영상변환단계에서 변환된 파노라마 영상에 작업자들의 교육에 사용될 내용을 입력하는 교육내용 입력단계를 더 포함하는 것을 특징으로 한다.
The method may further include inputting a content to be used for training of the operator in the panoramic image converted in the image conversion step.
본 발명에 따르면, 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 하고, 설계된 제조공정에 따라 작업자를 교육시킬 수 있도록 하는 교육컨텐츠를 제작함으로써 공정개선을 위한 투자를 쉽게 결정하지 못하는 중소기업에서도 활용할 수 있는 뛰어난 효과를 갖는다.According to the present invention, it is possible to design an efficient manufacturing process without quantitative process verification through a test bed in which an actual facility is installed, and to make education contents to educate workers according to a designed manufacturing process, It has an excellent effect that can be utilized by small and medium enterprises that can not easily decide.
또한, 본 발명에 따르면 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킴으로써 교육컨텐츠를 이용하는 작업자들에게 보다 나은 현실감과 부가 정보를 제공할 수 있도록 하는 효과를 추가로 갖는다.Further, according to the present invention, by applying an augmented reality technology to the production of educational contents that can design an efficient manufacturing process and educate workers accordingly, it is possible to provide better reality and additional information to workers using educational contents In addition to the effect of the present invention.
또한, 본 발명에 따르면 작업자의 작업과정을 작업자의 시선에서 직접 촬영하여 파노라마 영상으로 변환시킨 후 동작요소별로 분리할 수 있도록 함으로써 보다 세부적인 동작패턴의 분석이 가능하여 효율적인 제조공정 설계에 적용할 수 있을 뿐만 아니라, 작업현장에서 문제점이 발생될 경우 즉각적인 수정 및 피드백이 가능한 효과를 추가로 갖는다.
In addition, according to the present invention, since the work process of the operator can be directly photographed and converted into a panoramic image, the worker can be divided into operation elements to analyze more detailed operation patterns, In addition, it has the effect of immediate correction and feedback when problems occur at the worksite.
도 1은 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 나타낸 흐름도.
도 2는 도 1에 나타낸 본 발명 중 작업촬영단계에서의 촬영영역을 개념적으로 나타낸 도면.
도 3은 도 1에 나타낸 본 발명 중 작업촬영단계에서 작업자가 착용하는 헬멧을 나타낸 사시도.
도 4는 도 1에 나타낸 본 발명 중 영상변환단계에서 변환된 파노라마 영상의 실시예를 개념적으로 나타낸 도면.
도 5 내지 도 7은 도 1에 나타낸 본 발명 중 손움직임 분석단계에서 작업자의 손움직임을 분석하는 과정을 나타낸 도면.
도 8의 (a),(b)는 도 1에 나타낸 본 발명 중 동작요소 분리단계의 과정을 나타낸 도면.FIG. 1 is a flowchart illustrating a method of producing an augmented reality education content using a panorama image according to the present invention.
Fig. 2 conceptually shows an image capturing area in the job photographing step of the present invention shown in Fig. 1; Fig.
3 is a perspective view showing a helmet to be worn by a worker in a work shooting step of the present invention shown in Fig.
FIG. 4 conceptually illustrates an embodiment of a panoramic image converted in the image conversion step of the present invention shown in FIG. 1; FIG.
5 to 7 are views illustrating a process of analyzing a hand motion of a worker in the hand motion analysis step of the present invention shown in FIG.
8 (a) and 8 (b) illustrate a process of separating an operating element in the present invention shown in FIG. 1;
이하, 첨부된 도면을 참고로 하여 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법의 바람직한 실시예들을 상세히 설명하기로 한다.Hereinafter, preferred embodiments of a method for producing an augmented reality education content using a panoramic image according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법을 나타낸 흐름도이고, 도 2는 도 1에 나타낸 본 발명 중 작업촬영단계에서의 촬영영역을 개념적으로 나타낸 도면이며, 도 3은 도 1에 나타낸 본 발명 중 작업촬영단계에서 작업자가 착용하는 헬멧을 나타낸 사시도이고, 도 4는 도 1에 나타낸 본 발명 중 영상변환단계에서 변환된 파노라마 영상의 실시예를 개념적으로 나타낸 도면이며, 도 5 내지 도 7은 도 1에 나타낸 본 발명 중 손움직임 분석단계에서 작업자의 손움직임을 분석하는 과정을 나타낸 도면이고, 도 8의 (a),(b)는 도 1에 나타낸 본 발명 중 동작요소 분리단계의 과정을 나타낸 도면이다.
FIG. 1 is a flowchart illustrating a method of manufacturing an augmented reality education content using a panoramic image according to the present invention. FIG. 2 conceptually illustrates an imaging region in a work shooting step of the present invention shown in FIG. FIG. 4 is a conceptual view showing an embodiment of a panoramic image converted in the image conversion step of the present invention shown in FIG. 1, and FIG. 5 And FIG. 7 is a diagram illustrating a process of analyzing a hand motion of a worker in the hand motion analysis step of the present invention shown in FIG. 1. FIGS. 8 (a) and 8 (b) Fig.
본 발명은 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 본 발명에서 사용되는 증강현실 기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.The present invention relates to a method and apparatus for photographing a worker's work process at a work site from a viewpoint of a worker, combining it with a panoramic image and then virtually programmed equipment, The present invention relates to an augmented reality education content production method using a panorama image, which enables training of workers in accordance with a designed manufacturing process while making it possible to design a manufacturing process, It is a technique of superimposing virtual objects on the world. It is called Mixed Reality (MR) because it combines real world and virtual world with additional information in real time.
이와 같은 증강현실은 현실 환경과 가상환경을 융합하는 복합형 가상현실 시스템으로 현실세계를 가상세계로 보완해주는 개념을 가지며 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실 환경이다.Such augmented reality is a hybrid virtual reality system that fuses a real environment with a virtual environment. It has a concept of supplementing the real world with a virtual world. It uses a virtual environment created by computer graphics, but the protagonist is a real environment.
이때, 컴퓨터 그래픽은 현실 환경에 필요한 정보를 추가 제공하는 역할을 하는 것으로, 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실 환경과 가상화면과의 구분이 모호해지도록 한다.At this time, the computer graphic serves to provide additional information necessary for the real environment, so that the division of the real environment and the virtual screen is made ambiguous by overlapping the three-dimensional virtual image with the real image that the user is viewing.
한편, 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제 환경을 볼 수 없지만 실제환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제 환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다.On the other hand, the virtual reality technology can not see the actual environment by engaging the user in the virtual environment, but the augmented reality technology in which the real environment and the virtual object are mixed allows the user to see the real environment and provides better realism and additional information can do.
이에 본 발명은 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킨 것으로, 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법은 도 1에 나타낸 바와 같이, 크게 작업촬영단계(S10), 영상변환단계(S20), 가상작업공간 생성단계(S30), 크기변환단계(S40) 및 영상결합단계(S70)를 포함하여 이루어진다.Accordingly, the present invention is to apply an augmented reality technology to the production of educational contents for designing an efficient manufacturing process and educating workers accordingly, and a method for producing augmented reality education contents using a panorama image according to the present invention is shown in Fig. 1 (S30), a virtual work space creation step (S30), a size conversion step (S40), and an image combining step (S70).
보다 상세히 설명하면, 상기 작업촬영단계(S10)는 효율적인 제조공정 설계를 위해 작업자의 동작패턴을 분석하기 위함과 동시에, 증강현실 교육컨텐츠에서 현실 환경에 해당하는 부분을 제작하기 위하여 작업자의 작업과정을 촬영하는 단계에 관한 것으로, 보다 실재적인 작업과정의 촬영을 위해 작업자가 착용하는 안전모 등의 헬멧(10)에 카메라(12)를 설치하여 작업자의 시선에서 작업과정을 촬영할 수 있도록 구성되어 있다.More specifically, the operation photographing step (S10) includes analyzing an operation pattern of an operator for an efficient manufacturing process design, and analyzing an operation pattern of an operator to produce a portion corresponding to a real environment in the augmented reality education contents The camera 12 is mounted on a
즉, 본 발명은 제조업 분야에서 효율적인 제조공정 설계를 통해 경쟁력을 향상시킬 수 있도록 하고, 설계된 제조공정에 증강현실기술을 적용하여 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠를 제작할 수 있도록 하는 것에 주목적이 있으므로 교육컨텐츠의 제작에 선행되는 효율적인 제조공정의 설계를 위해서는 보다 정확한 작업 동작의 분석이 무엇보다도 중요하고, 그에 따라 작업자의 헬멧(10)에 카메라(12)를 설치함으로써 작업자의 시선에서 작업동작을 보다 정확히 촬영할 수 있도록 한 것이다.That is, it is an object of the present invention to improve the competitiveness through an efficient manufacturing process design in the manufacturing field, and to develop educational contents for training workers by applying the augmented reality technology to a designed manufacturing process In order to design an efficient manufacturing process that precedes the production of educational contents, more accurate analysis of the work operation is most important. Therefore, by installing the camera 12 on the operator's
이때, 도 3에 나타낸 바와 같이, 상기 헬멧(10)에는 총 3대의 카메라(12)가 설치될 수 있는데, 전방에 제1카메라(12a)가 설치되고, 좌, 우 양측으로 각각 제2 및 제3카메라(12b, 12c)가 설치되어 작업도중 작업자의 손이 이동하는 모든 방향을 촬영할 수 있도록 구성되어 있다.3, a total of three cameras 12 may be installed on the
즉, 상기 작업촬영단계(S10)에서는 작업자의 헬멧(10)에 설치된 3대의 카메라(12a,12b,12c)에 의해 도 2에 나타낸 바와 같이, 작업자의 전방과 좌,우 양측을 촬영하는 총 3개의 영상을 획득할 수 있게 된다.2, the three
또한, 작업자가 작업을 수행하는 작업대에는 이미지 마커(30)를 표시하는데, 상기 이미지 마커(30)는 작업자가 작업을 시작하는 위치에 표시되어 후술할 크기변환단계(S40), 영상결합단계(S70)에서의 변환의 기준이 됨과 동시에 손움직임 분석단계(S50)와 동작요소 분리단계(S60)에서의 중심점의 역할을 하는 것이다.The
이때, 상기 이미지 마커(30)는 촬영된 영상의 각도 변화 및 면적 변화를 용이하게 파악할 수 있도록 하기 위하여 사각형의 형상으로 표시되며, 작업자가 두 손을 함께 사용하는 경우, 두 손의 움직임을 각각 파악할 수 있도록 두 개의 이미지 마커(30)를 사용할 수도 있다.In this case, the
한편, 상기 헬멧(10)에 장착되는 카메라(12)로는 촬영된 영상을 전기적인 신호로 변환하여 저장 및 전송이 용이한 CCD 카메라(Charge Coupled Device Camera) 또는 촬영영상의 전송이 용이한 IP카메라 등이 사용될 수 있다. The camera 12 mounted on the
다음, 상기 영상변환단계(S20)는 작업촬영단계(S10)에서 촬영된 영상을 파노라마 영상으로 변환시킴으로써 작업자의 손 움직임을 보다 용이하게 분석할 수 있도록 하는 역할을 하는 것이다.Next, the image conversion step S20 converts the image photographed in the operation photographing step S10 into a panoramic image, thereby making it easier to analyze the hand motion of the operator.
즉, 상기 작업촬영단계(S10)에서의 작업과정 촬영도중 작업자의 손 움직임이 헬멧(10)의 전면부에 설치된 제1카메라(12a)에 의한 촬영영상의 범위를 벗어난 경우, 제1카메라(12a)에 의한 촬영 영상만으로는 작업자의 동작 분석을 할 수 없게 되므로, 헬멧(10)에 설치된 제1,2,3카메라(12a,12b,12c)에 의해 촬영된 영상을 파노라마 영상으로 변환시킨 후 작업자의 전체적인 손동작을 분석하게 되는 것이다.That is, when the hand movement of the worker during shooting of the work process in the work photographing step S10 is out of the range of the image captured by the
이때, 제1,2,3카메라(12a,12b,12c)에 의한 촬영영상을 파노라마 영상으로 변환시키는 것은 이미 개발되어 프로그램화되어 있으므로 PC 등을 통해 구현할 수 있고, 본 발명에서 권리로서 청구하고자 하는 바가 아니므로 이에 대한 상세한 설명은 생략하기로 한다.At this time, the conversion of the photographed images by the first, second, and
다음, 상기 가상작업공간 생성단계(S30)는 작업공정에 사용되는 설비를 포함하는 가상의 작업공간을 CAD 또는 SOLIDWORKS 등의 설계 프로그램을 이용하여 컴퓨터 그래픽으로 생성하는 단계에 관한 것으로, 실제 사용되는 설비 및 작업공간과 동일한 크기로 생성한다.Next, the virtual work space creation step S30 is a computer graphics creation step of creating a virtual work space including equipment used in a work process by using a design program such as CAD or SOLIDWORKS, And the same size as the workspace.
즉, 본 발명은 실제 생산설비를 설치하지 않고서도 제조공정을 개선 및 검증할 수 있도록 하고, 개선된 제조공정을 작업자들에게 교육시킬 수 있도록 하는 교육컨텐츠를 제공하는 것에 주목적이 있으므로, 컴퓨터 그래픽을 이용하여 가상설비를 포함하는 가상작업공간을 실제와 동일한 크기로 재현시킨 후 후술할 크기변환단계(S40)에서 변환된 영상 또는 동작요소 분리단계(S60)에서 분리된 작업촬영단계(S10)에서의 촬영 영상과 중첩시킴으로써 작업자의 교육에 활용할 수 있도록 구성된 것이다.That is, the present invention is primarily aimed at providing education contents that enable improvement and verification of the manufacturing process without providing actual production facilities and education of the improved manufacturing process to the workers. Therefore, The virtual workspace including the virtual facility is reproduced in the same size as the actual size, and then the virtual workspace including the virtual facility is reproduced in the size conversion step S40, which will be described later, And can be utilized for training of the operator by overlapping with the photographed image.
이때, 상기 가상작업공간에는 작업촬영단계(S10)에서 작업대에 표시되었던 이미지 마커(30)와 동일한 크기를 갖는 이미지 마커(30)가 동일 위치에 표시되도록 하여 가상의 작업공간을 상기 촬영 영상과 중첩시키는 경우 기준점으로 활용할 수 있도록 한다.At this time, in the virtual work space,
다음, 상기 크기변환단계(S40)는 영상변환단계(S20)에서 변환된 파노라마 영상을 실제, 즉 최초 촬영된 영상과 동일한 크기로 변환시키는 단계에 관한 것으로, 면적 및 각도측정단계(S41), 축척연산단계(S42) 및 축척적용단계(S43)를 포함하여 이루어진다.Next, the size conversion step S40 is a step of converting the panoramic image converted in the image conversion step S20 into the same size as the actual, i.e., the originally photographed image. The size and the angle measurement step S41, An operation step S42 and a scale application step S43.
보다 상세히 설명하면, 상기 면적 및 각도측정단계(S41)는 영상변환단계(S20)에서 변환된 파노라마 영상에서 일부 구간을 추출하여 추출된 영상에서의 이미지 마커(30')의 면적과 변환각도를 측정하는 단계에 관한 것이고, 상기 축척연산단계(S42)는 작업촬영단계(S10)에서 표시된 이미지 마커(30)의 실제 면적과 면적 및 각도측정단계(S41)에서 측정된 이미지 마커(30')의 면적을 비교하여 실제촬영영상과 변환된 파노라마 영상 사이의 축척을 계산하는 단계에 관한 것이다.More specifically, the area and angle measuring step S41 is a step of measuring the area of the image marker 30 'and the angle of transformation in the extracted image by extracting a section from the panoramic image transformed in the image transformation step S20 And the scale calculation step S42 calculates the actual area and area of the
즉, 변환된 파노라마 영상과 실제 촬영영상에서의 이미지 마커(30',30)의 면적을 각각 측정하여 그 변화량을 축척으로 활용함으로써 영상변환단계(S20)에서 변환된 파노라마 영상을 실제 크기와 동일하게 변환시킬 수 있도록 하는 것이다.That is, the area of each of the
이때, 변환된 파노라마 영상에서 확인되는 이미지 마커(30')의 회전각도(θM)를 측정하고, 실제 촬영영상에서의 이미지 마커(30)를 기준으로 한 각도 변화를 고려하여 이미지 마커(30',30)의 면적을 비교하게 된다.At this time, the rotation angle [theta] M of the image marker 30 ', which is confirmed in the transformed panoramic image, is measured, and the image marker 30' is calculated in consideration of the angle change with reference to the
다음, 상기 축척적용단계(S43)는 축척연산단계(S42)에서 연산된 축척을 이용하여 추출된 영상을 실제크기로 변환시키는 단계에 관한 것으로, 파워디렉터나 소니베가스 등의 영상편집프로그램을 사용하여 영상을 변환시킬 수 있다.Next, the scale application step S43 is a step of converting the extracted image into the actual size using the scale calculated in the scale calculation step S42, and using a video editing program such as a power directory or Sony Vegas The image can be converted.
이때, 도 4에 나타낸 바와 같이, 상기 축척적용단계(S43)에서는 면적 및 각도 측정단계(S41)에서 추출된 영상에서의 이미지 마커(30')를 중심으로 하는 가상의 공간좌표를 설정하여 추출된 영상에 포함된 작업자의 손움직임(①,②,③)에 대한 위치를 정의하고, 영상에 포함된 이미지 마커(30')의 기울기(θM)과, 도 2에 나타낸 작업자의 헬멧(10)에 구비된 제1카메라(12a)와 제2카메라(12b)에 의한 촬영영상 사이의 각도(θ12) 및 제1카메라(12a)와 제3카메라(12c)에 의한 촬영영상 사이의 각도(θ13)를 고려하여 실제크기로 변환된 파노라마 영상을 다시 제1 내지 제3카메라(10a.10b,10c)에 의해 촬영된 영상으로 분리시킬 수도 있음은 물론이다.4, in the scale application step S43, virtual space coordinates around the image marker 30 'in the image extracted in the area and angle measurement step S41 are set and extracted The position of the operator's hand movements (①, ②, ③) included in the image is defined and the inclination (θ M ) of the image marker 30 'included in the image and the tilt (θ M ) of the operator's
다음, 상기 영상결합단계(S70)는 가상작업공간 생성단계(S30)에서 생성된 가상의 작업공간과 크기변환단계(S40)에서 변환된 파노라마 영상 또는 파노라마 영상으로부터 제1 내지 제3카메라(12a,12b,12c)에 의해 촬영된 영상으로 분리된 영상을 중첩시킴으로써 컴퓨터 프로그래밍에 의해 생성된 가상의 공간과 카메라에 의해 촬영된 실제 공간을 매칭시키는 단계에 관한 것이다.Next, the image combining step S70 extracts the panoramic image or the panoramic image transformed in the virtual work space created in the virtual work space creating step S30 and the size converting step S40, 12b, and 12c, thereby matching the virtual space created by the computer programming with the actual space captured by the camera.
즉, 전술한 영상편집프로그램을 이용하여 가상의 작업공간과, 파노라마 영상을 중첩시킨 상태에서, 가상의 작업공간에 표시된 이미지 마커(30)의 중심과, 파노라마 영상에 표시된 이미지 마커(30')의 중심을 일치시킨 후, 파노라마 영상에 표시된 이미지 마커(30')의 각도, 즉 파노라마 영상의 수직방향 중심축과 이미지 마커(30')가 이루는 각도(θM)만큼 가상의 작업공간을 회전시킴으로써 컴퓨터 프로그래밍에 의해 생성된 가상의 작업공간을 카메라(12)에 의해 촬영된 실제 공간에 매칭시킬 수 있게 된다.That is, the center of the
한편, 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법은 크기변환단계(S40) 이후에 손움직임 분석단계(S50)와 동작요소 분리단계(S60)를 더 포함하여 구성될 수도 있는데, 상기 손움직임 분석단계(S50)와 동작요소 분리단계(S60)는 작업촬영단계(S10)에서 촬영된 작업자의 손움직임을 분석하고, 이를 반복주기 및 동작요소별로 분리함으로써 전체적인 작업과정을 세분화함과 동시에 불필요한 작업과정을 바로잡음으로써 최적의 제조공정을 설계하여 작업자들의 교육컨텐츠로 활용할 수 있도록 하는 것이다.Meanwhile, the method for producing the augmented reality education contents using the panorama image according to the present invention may further include a hand motion analysis step S50 and an operation element separation step S60 after the size conversion step S40, The hand movement analyzing step S50 and the operating element separating step S60 are performed by analyzing the hand movements of the operator photographed in the work photographing step S10 and dividing the hand movements by the repetition period and the operation elements, By eliminating unnecessary work processes, the optimal manufacturing process can be designed and utilized as training content for workers.
이때, 상기 손움직임 분석단계(S50)는 크기변환단계(S40)에서 변환된 영상에서 작업자의 손움직임을 분석하여 손움직임의 반복주기를 연산하고, 연산된 반복주기에 따라 영상을 분리하는 단계에 관한 것으로, 차원변환단계(S51), 반복주기 연산단계(S52) 및 영상분리단계(S53)를 포함하여 이루어진다.At this time, the hand motion analyzing step S50 is a step of calculating a repetition period of the hand motion by analyzing the hand motion of the worker in the image transformed in the resizing step S40, and separating the images according to the calculated repetition period And includes a dimension conversion step S51, a repetition period calculation step S52, and an image separation step S53.
보다 상세히 설명하면, 상기 차원변환단계(S51)는 파노라마 영상을 통해 확인되는 작업자의 손움직임 궤적을 2차원화함으로써 작업자의 작업과정을 보다 단순화하여 분석할 수 있도록 하는 역할을 하는 것으로, 도 5에 나타낸 바와 같은, 파노라마 영상을 통해 확인되는 작업자의 손의 궤적에서 임의의 지점들을 추출하고, 임의의 지점들 사이의 거리, 각도, 시간을 측정하여 2차원으로 표시한다.More specifically, the dimension conversion step S51 serves to simplify and analyze the work process of the operator by making the hand motion trajectory of the operator identified through the panorama image two-dimensional. As shown, arbitrary points are extracted from the trajectory of the operator's hand identified through the panoramic image, and the distance, angle, and time between arbitrary points are measured and displayed in two dimensions.
즉, 도 5에 나타낸 파노라마 영상에 표현된 작업자 손의 궤적에서 임의의 두 지점을 각각 H1, H2라 할 때, 파노라마 영상에 표현된 이미지 마커(30')를 원점으로 하는 가상의 좌표를 설정한 후, H1과 H2의 좌표 차이에 의한 기울기를 θ라 하고, H1으로부터 H2에 이르기까지 걸린 시간 즉, H1과 H2에서의 시간의 차이를 Δt라 하며, H1과 H2의 좌표에 의한 거리의 차를 Δℓ이라 정의할 수 있고, 이를 이용하면 파노라마 영상에 표현된 작업자 손의 궤적을 시간(t)에 따른 기울기(θ)의 변화에 대한 함수 또는 거리(ℓ)에 따른 기울기(θ)의 변화에 대한 함수와 같은 2차원 함수로 표현할 수 있게 되는 것이다.That is, when arbitrary two points are defined as H1 and H2 in the trajectory of the operator's hand represented in the panoramic image shown in Fig. 5, virtual coordinates are set with the image marker 30 'represented in the panoramic image as the origin The difference between the time taken from H1 to H2, that is, the time difference between H1 and H2, is denoted by? T, and the difference between the distances by the coordinates of H1 and H2 Δ ℓ. Using this, the trajectory of the operator's hand expressed in the panoramic image can be defined as a function of the change of the inclination (θ) with respect to time (t) or a function with respect to the change of the inclination Function can be represented by a two-dimensional function.
다음, 상기 반복주기 연산단계(S52)는 차원변환단계(S51)에서 2차원으로 변환된 작업자의 손움직임 궤적을 수치해석을 통해 변환하여 반복주기를 구하는 단계에 관한 것으로, 작업자의 손움직임 궤적 분석을 통해 작업자의 손동작이 반복되는 주기를 구하는 것이다.Next, the repetition period calculating step S52 relates to a step of obtaining a repetition period by converting the hand motion locus of the operator converted into two-dimensional in the dimension transforming step S51 through a numerical analysis, A period in which the operator's hand movements are repeated is obtained.
보다 상세히 설명하면, 반복주기를 구하기 위해서는 파노라마 영상에 표현된 작업자 손의 궤적에서 시간에 따른 기울기 변화의 누적분포를 이용할 수 있는데, 기울기 변화의 누적 분포를 그대로 표현할 경우 발산하게 되어 반복주기를 구할 수 없게 되므로 sin, cos함수를 이용하게 된다.More specifically, in order to obtain the repetition period, the cumulative distribution of the slope change over time in the trajectory of the operator's hand expressed in the panorama image can be used. If the cumulative distribution of the slope change is expressed as it is, Therefore, sin and cos are used.
즉, 파노라마 영상을 통해 표현된 작업자 손의 궤적이 일정한 싸이클로 반복될 경우, 시간에 따른 기울기의 변화 또한 반복될 것이므로 이의 변화 확인할 경우 반복주기를 구할 수 있게 되는데, 시간에 따른 기울기 변화의 누적분포를 사용할 경우 지속되는 변화에 의해 발산할 것이므로 sin과 cos함수를 이용한 수치해석을 통해 누적분포가 발산하지 않고 일정한 패턴으로 반복될 수 있도록 연산하는 것이다.In other words, when the trajectory of the operator's hand expressed through the panoramic image is repeated in a predetermined cycle, the change of the slope with time will also be repeated, so that it is possible to obtain the repetition period when the change is confirmed. If it is used, it will diverge due to the continuous change. Therefore, the cumulative distribution is calculated so that the cumulative distribution can be repeated in a uniform pattern by numerical analysis using the sin and cos function.
이때, 상기와 같은 반복주기 연산을 위한 수치해석은 MATLAB 등의 수치해석프로그램을 통해 이루어질 수 있으며, 그 결과 도 6에 나타낸 바와 같은 반복주기를 모니터 등의 출력수단을 통해 확인할 수 있게 된다.At this time, the numerical analysis for the repetition period calculation as described above can be performed through a numerical analysis program such as MATLAB. As a result, the repetition period as shown in FIG. 6 can be confirmed through an output means such as a monitor.
또한, 도 7은 상기 도 6에 나타낸 함수에서 기울기의 변화가 0인 지점을 기준으로 하여 임의의 두 지점 사이의 기울기의 변화가 +인 경우 +1로 표시하고, 임의의 두 지점 사이의 기울기의 변화가 -인 경우 -1로 표시하여 나타낸 것으로, 상기와 같이 표시할 경우 손움직임의 반복주기를 확인할 수 있음은 물론, 손움직임의 변화를 보다 용이하게 확인할 수 있게 된다.7 shows the case where the change of the slope between any two points is +1 when the change of the slope is 0 in the function shown in FIG. 6, and the slope of the slope between any two points is + If the change is -, it is indicated as -1. In the case of displaying as described above, it is possible to confirm the repetition cycle of the hand movement and more easily confirm the change of the hand movement.
다음 상기 영상분리단계(S53)는 영상편집 프로그램을 이용하여 파노라마 영상을 반복주기 연산단계(S52)에서 연산된 반복주기별로 분리하는 단계에 관한 것으로, 상기와 같은 영상의 분리를 통해 보다 세부적인 작업동작의 패턴 분석이 가능하게 된다.Next, the image separation step (S53) separates the panorama image by the repetition period calculated in the repetition period calculation step (S52) by using the image editing program. More specifically, Pattern analysis of the operation becomes possible.
이때, 상기 영상분리단계(S53)에서는 반복주기별로 분리되는 영상의 시작과 끝 부분에 여유 구간을 포함시킴으로써 전체 영상을 반복주기별로 보다 확실히 구분할 수 있도록 함과 동시에 분리된 영상들사이의 비교 분석을 보다 용이하게 할 수 있도록 하는 것이 바람직하다.At this time, in the image separation step (S53), by including an extra time period at the beginning and the end of the separated images at the repetition period, the entire image can be more clearly distinguished by repetition period, and the comparison analysis between the separated images It is preferable to make it easier to do so.
다음, 상기 동작요소 분리단계(S60)는 영상분리단계(S53)에서 반복주기별로 분리된 영상을 다시 동작요소별로 분리함으로써 작업자의 전체적인 작업과정을 동작요소별로 분석할 수 있도록 하는 역할을 하는 것으로, 제1임계점 설정단계(S61), 제1임계점 위치확인단계(S62), 제1임계점 분리단계(S63), 제n임계점 설정단계(S64), 제n임계점 분리단계(S65) 및 마무리 단계(S66)를 포함하여 이루어진다.Next, the operation element separating step S60 separates the images separated by repetition periods in the image separating step S53 again for each operation element, thereby analyzing the entire work process of the worker for each operation element, The first critical point setting step S61, the first critical point position determining step S62, the first critical point separating step S63, the nth critical point setting step S64, the nth critical point separating step S65, and the finishing step S66 ).
보다 상세히 설명하면, 상기 제1임계점 설정단계(S61)는 영상분리단계(S53)에서 반복주기별 영상 중 하나의 영상(이하, '제1영상'이라고 한다)을 선정하여 동작요소를 분리하기 위한 제1임계점들을 설정하는 단계에 관한 것으로, 반복주기별로 분리된 영상을 터치스크린(미도시)을 통해 시현하고, 작업과정에 능통한 관리자가 시현되는 영상을 확인하는 도중 동작요소별로 분리가 되는 임계점 부분을 터치하여 마킹하는 방식에 의해 제1임계점들을 설정할 수 있게 된다.More specifically, the first threshold setting step S61 is a step of selecting one image (hereinafter, referred to as a 'first image') of the images in the repetition period in the image separation step S53, And the first critical points are set. In the step of displaying the divided images for each repetition period through a touch screen (not shown) The first thresholds can be set by a method of touching and marking the portions.
다음, 상기 제1임계점 위치확인단계(S62)는 제1임계점 설정단계(S61)에서 설정된 제1임계점들 사이의 공간적 관계를 설정하여 연산을 통해 제1임계점들의 위치를 확인하는 단계에 관한 것으로, 영상에 표시된 이미지 마커(30')를 중심점으로 하여 가상의 좌표를 설정한 후 제1임계점들 사이의 공간적 관계를 정의함으로써 제1임계점들의 위치를 연산할 수 있게 된다.Next, the first threshold point positioning step (S62) relates to a step of setting the spatial relationship between the first threshold points set in the first threshold point setting step (S61) and confirming the positions of the first threshold points through calculation, It is possible to calculate the position of the first critical points by defining the virtual coordinates with the image marker 30 'displayed on the image as the center point and then defining the spatial relationship between the first critical points.
즉, 도 8의 (a)에 나타낸 바와 같이, 제1영상에서 선정된 제1임계점들을 각각 ①, ②, ③이라 하고, 중심점으로 사용할 이미지 마커(30')의 기울기를 θm이라 할 경우, 이미지 마커(30')를 기준으로 한 ①, ②, ③ 사이의 공간적 관계를 연산할 수 있으므로 제1임계점 ①에서 ②로 향하는 작업자의 제1동작과, 제1임계점 ②에서 ③으로 향하는 작업자의 제2동작을 정의할 수 있게 되는 것이다.That is, as shown in FIG. 8A, when the first critical points selected in the first image are respectively designated as?,?, And?, And the slope of the image marker 30 ' The spatial relationship between the markers 30 'can be computed, so that the first operation of the operator from the first
다음, 상기 제1임계점 분리단계(S63)는 제1영상에서 선정된 제1임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 단계에 관한 것으로, 영상편집 프로그램을 이용하여 제1임계점들 사이의 구간들을 각각 분리하면, 반복주기별로 분리되었던 영상을 다시 동작요소별로 분리할 수 있게 되어 작업자의 전체적인 작업과정을 최소단위로 세분화할 수 있게 된다.The first critical point separating step S63 is a step of separating and setting the interval between the first critical points selected in the first image as a single operation element, It is possible to separate the images separated by the repetition period by operating elements again, so that the entire work process of the operator can be divided into a minimum unit.
다음, 상기 제n임계점 설정단계(S64)는 반복주기별로 분리된 영상 중 제1영상을 제외한 n번째 영상을 선정하여 n번째 영상에서의 제n임계점들을 설정하는 단계에 관한 것으로, 상기 제1임계점 위치확인단계(S62)에서 확인된 제1임계점들 사이의 공간적 관계를 참조하여 제n임계점들을 설정하게 된다.The nth critical point setting step S64 is a step of setting nth thresholds in the nth image by selecting an nth image excluding the first image among the separated images at each repetition period, The nth critical points are set with reference to the spatial relationship between the first critical points identified in the positioning step S62.
보다 상세히 설명하면, 도 8의 (b)에 나타낸 바와 같이, n번째 영상, 즉 제n영상에서 확인되는 이미지 마커(30')의 기울기를 θmn이라 할 경우, 제1임계점 위치확인단계(S52)에서 확인된 제1영상에서의 이미지 마커(30') 기울기 θm과 이미지 마커(30')를 원점으로 한 가상의 좌표를 통해 연산된 제1임계점 ①, ②, ③ 사이의 공간적 관계를 좌표변환을 통해 제n영상에서 확인되는 이미지 마커(30)의 기울기 θmn에 대한 함수로 변환시킴으로써 각각 ①', ②', ③'로 표현되는 제n임계점들을 제n영상에 표시할 수 있게 되는 것이다.More specifically, as shown in FIG. 8 (b), when the slope of the image marker 30 'identified in the n-th image, that is, the n-th image is denoted by θmn, The spatial relationship between the first
다음, 상기 제n임계점 분리단계(S65)는 제n임계점 설정단계(S64)에서 설정된 제n임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 단계에 관한 것으로, 전술한 제1임계점 분리단계(S63)에서와 마찬가지로, 제n임계점 ①'에서 ②'로 향하는 작업자의 제1'동작과, 제n임계점 ②'에서 ③'로 향하는 작업자의 제2'동작으로 영상을 분리하게 된다.The nth critical point separation step S65 is a step of setting and separating a period between nth critical points set in the nth critical point setting step S64 as a single operation element, As in the separation step S63, the image is separated into the first operation of the operator from the nth critical point 1 'to the 2' and the second operation of the operator from the nth critical point 2 'to the 3' operation.
다음, 상기 마무리단계(S66)는 제n임계점 분리단계(S65)까지 마무리되어 전체적인 작업과정 촬영 영상에 대한 반복주기별 분리 및 동작요소별 분리가 완료된 상태에서 설정된 동작요소의 시작부분과 끝부분 사이에 포함되지 않는 동작이 포함된 영상구간을 삭제하는 단계에 관한 것이다.Next, the finishing step S66 is completed until the nth critical point separating step S65, and the separation between the repetition period and the separation of the operation elements is completed between the start and end portions of the operation elements The video segment including the motion that is not included in the video segment is deleted.
즉, 작업자의 전체적인 작업과정을 반복주기별 및 동작요소별로 분리한 경우 분리된 영상의 비교를 통해 작업자의 작업동작 패턴을 확인할 수 있고, 그에 따라 동작요소별로 분리된 영상에서 작업자의 동작요소 중 시작부분과 끝부분 사이에 포함되지 않은 동작, 즉 불필요한 작업동작을 확인할 수 있게 되므로 불필요한 작업동작이 포함된 구간을 삭제함으로써 최적의 제조공정의 설계가 가능하도록 하는 것이다.That is, when the entire work process of the worker is separated by the repetition cycle and the operation elements, the work operation pattern of the worker can be confirmed through the comparison of the separated images, and accordingly, It is possible to confirm an operation not included between the portion and the end portion, that is, an unnecessary work operation, so that the section including the unnecessary work operation is deleted, thereby making it possible to design the optimum manufacturing process.
따라서, 상기와 같은 과정을 통해 작업현장에서 이루어지는 작업자의 전체적인 동작 과정을 동작요소별로 분리할 수 있게 되고, 그에 따라 작업자의 동작요소별 작업패턴을 세부적으로 분석할 수 있게 되어 실제 설비가 투입된 테스트베드를 통해 정량적인 공정검증 없이도 효율적인 제조공정의 설계가 가능하게 되고, 동작요소별로 분리된 영상에 가상작업공간 생성단계(S30)에서 생성된 가상의 작업공간을 중첩시킴으로써 설계된 제조공정에 따라 작업자들을 교육할 수 있는 교육컨텐츠를 제작할 수 있게 되는 것이다.Accordingly, it is possible to separate the entire operation process of the worker, which is performed at the work site, according to the operation elements through the process described above. Accordingly, the work pattern of each worker can be analyzed in detail, It is possible to design an efficient manufacturing process without quantitative process verification, and the virtual work space generated in the virtual work space creation step (S30) is superimposed on the separated images for each operation element, It is possible to produce educational contents that can be used.
한편, 상기 손움직임 분석단계(S50)와 동작요소 분리단계(S60)는 크기변환단계(S40) 이후에 실시되는 것으로 설명되었으나, 필요에 따라 영상변환단계(S20) 이후 손움직임 분석단계(S50)와 동작요소 분리단계(S60)를 실시한 후 크기변환단계(S40)를 실시함으로써 동작요소별로 분리된 영상의 크기를 변환하여 실제 촬영된 크기와 같아지도록 할 수도 있음은 물론이다.Although it has been described that the hand motion analysis step S50 and the operation element separation step S60 are performed after the size conversion step S40, the hand motion analysis step S50 may be performed after the image conversion step S20, It is also possible to transform the size of the separated image for each operation element by performing the size conversion step S40 after performing the operation element separation step S60 and to make the same size as the actual photographed size.
또한, 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육컨텐츠 제작방법은 교육내용 입력단계(S80)를 더 포함하여 구성될 수도 있는데, 상기 교육내용 입력단계(S80)는 영상변환단계(S20)에서 변환된 파노라마 영상에 작업자들의 교육을 위한 교육내용을 입력시키는 단계에 관한 것이다.In addition, the method for constructing an augmented reality education content using a panoramic image according to the present invention may further include an education content input step (S80). The education content input step (S80) And inputting training content for training of workers to the panoramic image.
즉, 본 발명의 최종 목표는 증강현실을 이용한 교육컨텐츠를 제작하는 것에 있으므로 증강현실 중 현실세계의 역할을 하는 파노라마 영상에 작업자들에게 필요한 교육내용을 입력시킴으로써 영상을 확인하는 작업자들이 보다 용이하게 작업내용을 숙지할 수 있도록 하는 것이다.That is, the final goal of the present invention is to produce educational contents using the augmented reality, so that the training contents necessary for the workers are input to the panorama image serving as the real world of the augmented reality, So that they can understand the contents.
이때, 상기 교육내용은 키보드 등의 입력수단을 이용한 텍스트 형태로 입력될 수도 있고, 마이크와 같은 입력수단을 이용한 음성 형태로 입력될 수도 있음은 물론이다.At this time, the contents of the training may be input in the form of text using an input means such as a keyboard, or may be input in a voice form using an input means such as a microphone.
또한, 상기 교육내용 입력단계(S80)는 파노라마 영상에 교육내용을 입력시키는 것이므로, 영상변환단계(S20) 이후 어느 곳에나 위치할 수 있게 된다.In addition, the training content input step S80 is to input training content to the panoramic image, so that it can be located anywhere after the image conversion step S20.
즉, 키보드나 마이크 등의 입력수단을 이용하여 텍스트 또는 음성 형태의 교육내용을 입력하는 것은 영상자체의 크기나 영상내부에 포함된 작업자의 움직임을 변형시키는 것은 아니므로, 가상작업공간 생성단계(S30)에서 가상의 작업공간과 파노라마 영상을 매칭시키는 영상결합단계(S70)의 전,후에 선택적으로 사용될 수 있는 것이다.That is, inputting the contents of the text or voice using the input means such as a keyboard or a microphone does not change the size of the image itself or the movement of the worker included in the image, (S70) for matching the virtual work space with the panoramic image in step S70.
또한, 상기 교육내용 입력단계(S80)를 동작요소 분리단계(S60)의 이후에 배치하여 동작요소 분리단계(S60)에서 분리된 임계점을 기준으로 한 동작요소별 교육내용을 텍스트 또는 음성으로 입력시킬 수도 있음은 물론이다.In addition, the training content input step S80 may be arranged after the operating element separation step S60, and the training content for each operating element based on the critical point separated in the operating element separation step S60 may be input as text or voice Of course it is possible.
전술한 바와 같이 구성된 본 발명에 따른 파노라마 영상을 이용한 증강현실 교육컨텐츠 제작방법에 의하면, 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 하고, 설계된 제조공정에 따라 작업자를 교육시킬 수 있도록 하는 교육컨텐츠를 제작함으로써 공정개선을 위한 투자를 쉽게 결정하지 못하는 중소기업에서도 활용할 수 있을 뿐만 아니라, 작업자의 작업과정을 작업자의 시선에서 직접 촬영하여 파노라마 영상으로 변환시킨 후 동작요소별로 분리할 수 있도록 함으로써 보다 세부적인 동작패턴의 분석이 가능하여 효율적인 제조공정 설계에 적용할 수 있고, 작업현장에서 문제점이 발생될 경우 즉각적인 수정 및 피드백이 가능하며, 효율적인 제조공정을 설계하고, 그에 따라 작업자들을 교육시킬 수 있도록 하는 교육컨텐츠의 제작에 증강현실 기술을 적용시킴으로써 교육컨텐츠를 이용하는 작업자들에게 보다 나은 현실감과 부가 정보를 제공할 수 있는 등의 다양한 장점을 갖는 것이다. According to the method of manufacturing the augmented reality education contents using the panorama image according to the present invention, it is possible to design an efficient manufacturing process without quantitative process verification through a test bed in which actual facilities are installed, It is possible to utilize it not only in SMEs who can not easily determine the investment for process improvement but also to transform the work process of the worker into the panoramic image by directly shooting the worker's gaze, It is possible to apply the present invention to an efficient manufacturing process design by analyzing more detailed operation pattern by making it possible to perform an instantaneous correction and feedback when a problem occurs at a work site and design an efficient manufacturing process, Workers It has many advantages such as to provide better realism and additional information by applying the Augmented Reality technology for the production of educational content that enables you to six to workers using educational content.
전술한 실시예들은 본 발명의 가장 바람직한 예에 대하여 설명한 것이지만, 상기 실시예에만 한정되는 것은 아니며, 손움직임 분석단계에서의 분석을 위해 통상의 키보드나 마우스가 포함된 컴퓨터 또는 대체수단을 사용하고, 촬영된 동영상이나 분리된 파노라마 영상을 재생하는 수단으로 통상의 모니터를 사용하는 등 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변형이 가능하다는 것은 당업자에게 있어서 명백한 것이다.
The present invention is not limited to the above-described embodiments. For example, a computer or an alternative means including a conventional keyboard or a mouse may be used for analysis in the hand motion analysis step, It is obvious to a person skilled in the art that various modifications are possible without departing from the technical idea of the present invention such as using a normal monitor as a means for reproducing a photographed moving picture or a separated panorama image.
본 발명은 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것으로, 보다 상세하게는 작업 현장에서의 작업자의 작업과정을 작업자의 시각에서 촬영하고, 이를 파노라마 영상으로 제작한 후, 가상으로 프로그램화 된 설비와 결합시킴으로써 실제 설비가 투입된 테스트베드를 통한 정량적인 공정검증 없이도 효율적인 제조공정 설계가 가능하도록 함과 동시에 설계된 제조공정에 따라 작업자들을 훈련시킬 수 있도록 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법에 관한 것이다.
The present invention relates to a method of producing an augmented reality education content using a panoramic image, and more particularly, to a method of producing an augmented reality education content using a panorama image, It is possible to design an efficient manufacturing process without quantitative process verification through a test bed in which the actual equipment is installed by combining the equipment with the equipment, and at the same time, it is possible to train the workers according to the designed manufacturing process. .
10 : 헬멧
12 : 카메라
12a : 제1카메라
12b : 제2카메라
12c : 제3카메라
30, 30' : 이미지 마커
S10 : 작업촬영단계
S20 : 영상변환단계
S30 : 가상작업공간 생성단계
S40 : 크기변환단계
S41 : 면적 및 각도 측정단계
S42 : 축척연산단계
S43 : 축척적용단계
S50 : 손움직임 분석단계
S51 : 차원변환단계
S52 : 반복주기 연산단계
S53 : 영상분리단계
S60 : 동작요소 분리단계
S61 : 제1임계점 설정단계
S62 : 제1임계점 위치확인단계
S63 : 제1임계점 분리단계
S64 : 제n임계점 설정단계
S65 : 제n임계점 분리단계
S66 : 마무리단계
S70 : 영상결합단계10: helmet 12: camera
12a:
12c:
S10: work photographing step S20: image conversion step
S30: Create virtual workspace S40: Size conversion step
S41: Area and angle measurement step S42: Scale calculation step
S43: Scaling application step S50: Hand motion analysis step
S51: Dimension conversion step S52: Repetition cycle operation step
S53: Image Separation Step S60: Operation Element Separation Step
S61: First threshold setting step S62: First threshold position determination step
S63: First threshold dividing step S64: nth threshold setting step
S65: nth critical point separation step S66: finishing step
S70: image combining step
Claims (10)
상기 작업촬영단계에서 촬영된 영상을 파노라마 영상으로 변환시키는 영상변환단계와;
가상 설비를 포함한 가상의 작업공간을 실제와 동일한 크기로 모델링하여 프로그램화하는 가상작업공간 생성단계와;
상기 영상변환단계에서 변환된 파노라마 영상을 실제와 동일한 크기로 변환시키는 크기변환단계 및
상기 가상작업공간 생성단계에서 생성된 가상의 작업공간과 크기변환단계에서 변환된 파노라마 영상을 매칭시키는 영상결합단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
A work photographing step of photographing a work process of a worker using a camera installed in a helmet worn by an operator;
An image conversion step of converting the image photographed in the operation photographing step into a panoramic image;
A virtual work space creation step of modeling a virtual work space including a virtual facility to the same size as the actual work space and programming the virtual work space;
A size conversion step of converting the panorama image converted in the image conversion step into the same size as the actual size;
And an image combining step of matching the virtual work space created in the virtual work space creation step with the panorama image converted in the size conversion step.
상기 작업촬영단계에서 사용되는 헬멧의 전방에는 작업자의 전면을 촬영하는 제1카메라가 설치되고, 헬멧의 좌,우 양측면에는 작업자의 좌,우 방향을 각각 촬영하는 제2 및 제3카메라가 설치된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method according to claim 1,
A first camera for photographing a front side of a worker is provided in front of a helmet used in the work photographing step and a second and a third camera for photographing left and right sides of the worker are installed on both left and right sides of the helmet A method for constructing augmented reality education contents using panoramic images.
상기 작업촬영단계에서는 작업자가 작업을 수행하는 작업대 상의 작업을 시작하는 위치에 이미지 마커를 표시하고, 상기 가상작업공간 생성단계에서는 상기 이미지 마커와 동일한 크기의 이미지 마커를 가상작업공간의 동일한 위치에 형성시키는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method according to claim 1,
In the work shooting step, an image marker is displayed at a position where an operator starts a work on a work table. In the virtual work space creation step, an image marker having the same size as the image marker is formed at the same position in the virtual work space The method comprising the steps of:
상기 크기변환단계는 영상변환단계에서 변환된 파노라마 영상에서 일부 구간을 추출하여 해당 영상에서의 이미지 마커의 면적과 변환 각도를 측정하는 면적 및 각도 측정단계와;
상기 작업촬영단계에서 표시된 이미지 마커의 실제 면적과, 면적 및 각도 측정단계에서 측정된 이미지 마커의 면적을 비교하여 실제 촬영영상과 변환된 파노라마 영상 사이의 축척을 계산하는 축척 연산단계 및
면적 및 각도 측정단계에서 추출된 영상에서의 이미지 마커를 기준으로 한 가상의 공간좌표를 설정하고, 축척 연산단계에서 연산된 축척을 적용하여 추출된 영상을 실제크기로 변환시키는 축척 적용단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method of claim 3,
The size conversion step may include an area and angle measurement step of extracting a section from the panorama image converted in the image conversion step and measuring an area of the image marker and a conversion angle of the image marker in the corresponding image;
A scale calculation step of calculating a scale between the actual photographed image and the converted panoramic image by comparing the actual area of the image marker displayed in the operation photographing step with the area of the image marker measured in the area and angle measurement step,
And a scale applying step of setting the virtual space coordinates based on the image marker in the image extracted in the area and angle measuring step and applying the scale calculated in the scale calculating step to convert the extracted image into the actual size Wherein the method comprises the steps of:
상기 영상결합단계에서는 가상의 작업공간과 파노라마 영상에 각각 표시된 이미지 마커가 이루는 각도를 비교하여 각도의 차이만큼 가상의 작업공간을 회전시킴으로써 파노라마 영상에 매칭시키는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method of claim 3,
Wherein the virtual work space and the panoramic image are matched with each other by comparing angles formed by the image markers respectively displayed in the virtual work space and the panoramic image to match the panoramic image by rotating the virtual work space by the angle difference. Content creation method.
상기 크기변환단계에서 변환된 영상에서 작업자의 손움직임을 분석하여 반복주기를 연산하고 연산된 반복주기 단위로 영상을 분리하는 손움직임 분석단계를 더 포함하는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method according to claim 1,
Further comprising a hand motion analyzing step of analyzing a hand motion of an operator in the image transformed in the resizing step and calculating a repetition period and separating the image in the calculated repetition period unit. Content creation method.
상기 손움직임 분석단계는 파노라마 영상을 통해 확인되는 작업자의 손움직임 궤적을 2차원화하는 차원변환단계와,
2차원으로 변환된 손움직임 궤적을 이용한 수치해석을 통해 손움직임의 반복주기를 구하는 반복주기 연산단계 및
반복주기 연산단계에서 연산된 반복주기 단위로 영상을 분리하는 영상분리단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method according to claim 6,
The hand motion analysis step may include a dimension conversion step of converting the hand motion trajectory of the operator identified through the panorama image into two-
A repetition period calculating step of obtaining a repetition period of hand motion through a numerical analysis using a two-dimensional converted hand motion locus, and
And separating the images in the repetition period units calculated in the repetition period calculation step.
상기 손움직임 분석단계에서 반복주기 단위로 분리된 영상을 다시 동작요소별로 분리하는 동작요소 분리단계;를 더 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method according to claim 6,
And separating the images separated by the repetition period unit in the hand motion analysis step for each operation element again in the hand motion analysis step.
상기 동작요소 분리단계는 반복주기별로 분리된 영상 중 제1영상을 선정하여 동작요소를 분리하기 위한 제1임계점들을 설정하는 제1임계점 설정단계와,
상기 제1영상의 중심점을 기준으로 한 제1임계점들 사이의 공간적 관계를 연산하는 제1임계점 위치확인단계와,
상기 제1임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제1임계점 분리단계와,
반복주기별로 분리된 영상 중 제n영상을 선정하여 제1임계점 위치확인단계에서 확인된 제1임계점의 위치를 기준으로 한 제n임계점을 설정하는 제n임계점 설정단계와,
상기 제n임계점들 사이의 구간을 하나하나의 동작요소로 설정하여 분리하는 제n임계점 분리단계 및
상기 제n임계점 분리단계 이후에 분리된 동작요소의 시작부분과 끝부분 사이의 범위에 포함되지 않는 영상 구간을 삭제하는 마무리단계를 포함하여 구성된 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
9. The method of claim 8,
The operation element separating step may include a first threshold setting step of setting first thresholds for selecting a first image among the separated images for each repetition period and separating the operation elements,
A first threshold point positioning step of calculating a spatial relationship between first threshold points based on a center point of the first image,
A first threshold dividing step of setting and separating a section between the first thresholds as a single operation element,
An n-th threshold setting step of selecting an n-th image among the separated images for each repetition period and setting an n-th threshold based on a position of the first threshold determined in the first threshold-
An n-th threshold dividing step of setting the intervals between the n-th threshold points as a single operation element and separating them, and
And a finishing step of deleting an image section that is not included in a range between a start portion and an end portion of the separated operation element after the nth threshold separation step. .
상기 영상변환단계에서 변환된 파노라마 영상에 작업자들의 교육에 사용될 내용을 입력하는 교육내용 입력단계를 더 포함하는 것을 특징으로 하는 파노라마 영상을 이용한 증강현실 교육 컨텐츠 제작방법.
The method according to claim 1,
Further comprising a training content input step of inputting contents to be used for training of workers in the panorama image converted in the image conversion step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140103827A KR101637553B1 (en) | 2014-08-11 | 2014-08-11 | Method for making augmented reality educational contents using panorama videos |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140103827A KR101637553B1 (en) | 2014-08-11 | 2014-08-11 | Method for making augmented reality educational contents using panorama videos |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160019980A true KR20160019980A (en) | 2016-02-23 |
| KR101637553B1 KR101637553B1 (en) | 2016-07-08 |
Family
ID=55448954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140103827A KR101637553B1 (en) | 2014-08-11 | 2014-08-11 | Method for making augmented reality educational contents using panorama videos |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101637553B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877114B1 (en) * | 2016-05-12 | 2018-07-10 | 전자부품연구원 | User Behavior Recognition Method and Apparatus using the Passive Sensing Scheme |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100047563A (en) * | 2008-10-29 | 2010-05-10 | 에이알비전 (주) | Augmented reality apparatus for simulation discipline and virtual image composition method |
| KR101050710B1 (en) * | 2010-11-03 | 2011-07-20 | (주)텔레콤랜드 | Smart helmet for fireman |
| KR20120099973A (en) | 2011-03-02 | 2012-09-12 | 김석수 | Authoring system and method of marker base augmented reality educational contents using environment interaction |
| KR101229283B1 (en) | 2005-09-15 | 2013-02-15 | 올레그 스탄니슬라보비치 루린 | Method and system for visualising virtual three-dimensional objects |
| KR20130123117A (en) * | 2012-05-02 | 2013-11-12 | 동국대학교 산학협력단 | Smart helmet |
| KR101334980B1 (en) * | 2012-12-11 | 2013-11-29 | 세종대학교산학협력단 | Device and method for authoring contents for augmented reality |
-
2014
- 2014-08-11 KR KR1020140103827A patent/KR101637553B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101229283B1 (en) | 2005-09-15 | 2013-02-15 | 올레그 스탄니슬라보비치 루린 | Method and system for visualising virtual three-dimensional objects |
| KR20100047563A (en) * | 2008-10-29 | 2010-05-10 | 에이알비전 (주) | Augmented reality apparatus for simulation discipline and virtual image composition method |
| KR101050710B1 (en) * | 2010-11-03 | 2011-07-20 | (주)텔레콤랜드 | Smart helmet for fireman |
| KR20120099973A (en) | 2011-03-02 | 2012-09-12 | 김석수 | Authoring system and method of marker base augmented reality educational contents using environment interaction |
| KR20130123117A (en) * | 2012-05-02 | 2013-11-12 | 동국대학교 산학협력단 | Smart helmet |
| KR101334980B1 (en) * | 2012-12-11 | 2013-11-29 | 세종대학교산학협력단 | Device and method for authoring contents for augmented reality |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877114B1 (en) * | 2016-05-12 | 2018-07-10 | 전자부품연구원 | User Behavior Recognition Method and Apparatus using the Passive Sensing Scheme |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101637553B1 (en) | 2016-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7231306B2 (en) | Method, Apparatus and System for Automatically Annotating Target Objects in Images | |
| JP6551184B2 (en) | Simulation apparatus, simulation method, and simulation program | |
| CN108153240B (en) | Augmented reality simulator and computer-readable medium | |
| US20160288318A1 (en) | Information processing apparatus, information processing method, and program | |
| US20150062123A1 (en) | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model | |
| Kim et al. | Improvement of realism of 4D objects using augmented reality objects and actual images of a construction site | |
| KR100914848B1 (en) | Method and architecture of mixed reality system | |
| CN110928419A (en) | Transformer substation construction bottom crossing method based on virtual reality technology | |
| US20110109628A1 (en) | Method for producing an effect on virtual objects | |
| JP5030953B2 (en) | Method and system for determining the relative position of a first object with respect to a second object, a corresponding computer program and a corresponding computer-readable recording medium | |
| JP2017167863A (en) | Three-dimensional measurement program, three-dimensional measurement method and three-dimensional measurement system | |
| CN110573992A (en) | Editing augmented reality experiences using augmented reality and virtual reality | |
| KR101242089B1 (en) | Interactive stage system apatrtus and simulation method of the same | |
| KR101637553B1 (en) | Method for making augmented reality educational contents using panorama videos | |
| KR101496761B1 (en) | 3D Model Control System and Method Based on multi-screen Projection | |
| Tushev et al. | Photogrammetric system accuracy estimation by simulation modelling | |
| JP6253834B1 (en) | Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method | |
| Ali et al. | Near real-time monitoring of construction progress: integration of extended reality and kinect V2 | |
| KR101610912B1 (en) | Motion pattern analysis method using panorama videos | |
| CN115240140A (en) | Equipment installation progress monitoring method and system based on image recognition | |
| Barna et al. | Open source tools in assembling process enriched with elements of augmented reality | |
| JP2021064267A (en) | Image processing apparatus and image processing method | |
| JP7098473B2 (en) | Image processing device and image processing method | |
| JPH0981779A (en) | Method and device for generating partially solid model | |
| Chabal et al. | Virtual reality technologies: A way to verify dismantling operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |