KR102388715B1 - Apparatus for feeling to remodeling historic cites - Google Patents

Apparatus for feeling to remodeling historic cites Download PDF

Info

Publication number
KR102388715B1
KR102388715B1 KR1020200019851A KR20200019851A KR102388715B1 KR 102388715 B1 KR102388715 B1 KR 102388715B1 KR 1020200019851 A KR1020200019851 A KR 1020200019851A KR 20200019851 A KR20200019851 A KR 20200019851A KR 102388715 B1 KR102388715 B1 KR 102388715B1
Authority
KR
South Korea
Prior art keywords
user
skeleton
motion
restoration
relics
Prior art date
Application number
KR1020200019851A
Other languages
Korean (ko)
Other versions
KR20210105484A (en
Inventor
류지훈
장민옥
김성인
Original Assignee
(주)일렉콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)일렉콤 filed Critical (주)일렉콤
Priority to KR1020200019851A priority Critical patent/KR102388715B1/en
Publication of KR20210105484A publication Critical patent/KR20210105484A/en
Application granted granted Critical
Publication of KR102388715B1 publication Critical patent/KR102388715B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실시예는 문화유적복원 실감 장치에 관한 것이다.
구체적으로, 이러한 장치는 문화유적복원의 체험을 할 경우, 다수의 상이한 박물관 또는 전시관별로 고유한 유물객체를 3D로 표시하고, 사용자스켈레톤에 의한 유물복원 자세와의 인터랙션 모션으로 복원 체험을 한다.
그리고, 이렇게 문화유적복원이 되어 감상을 할 경우에도, 복원된 유물객체를 3D로 표시하고, 사용자스켈레톤에 의한 자세와의 인터랙션 모션으로 전방향에 대해 관람객이 움직이는 데로 유물 감상하는 것을 특징으로 한다.
따라서, 이를 통해 현재 발견된 파손된 유물 형상을 복구하는 장면을 관객의 참여 행위에 의해 인터랙션을 적용하여 연출한다.
The embodiment relates to a sensory apparatus for restoring cultural relics.
Specifically, when experiencing cultural relics restoration, these devices display unique relic objects in 3D for each of a number of different museums or exhibition halls, and experience restoration with an interactive motion with the relic restoration posture by the user skeleton.
And, even when viewing cultural relics in this way, the restored relics are displayed in 3D, and the interactive motion with the posture by the user skeleton allows the viewer to appreciate the relics as they move in all directions.
Therefore, through this, the scene of recovering the shape of the currently found damaged relic is produced by applying the interaction through the participation of the audience.

Description

문화유적복원 실감 장치{Apparatus for feeling to remodeling historic cites} Apparatus for feeling to remodeling historic cites

본 명세서에 개시된 내용은 박물관 또는 전시관 등을 방문할 경우, 그 지역의 문화유적을 인터랙션으로 복원체험 또는 감상할 수 있도록 하는 기술에 관한 것이다.The content disclosed in this specification relates to a technology that allows you to experience or appreciate the cultural relics of the region through interaction when visiting a museum or an exhibition hall.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the material described in this section is not prior art to the claims of this application, and inclusion in this section is not an admission that it is prior art.

최근에 국내외로 운영되는 박물관 및 지역 특색 전시관에서 전시물 관람에 있어 점차적으로 IT 신기술이 접목되어 보다 많은 정보를 손쉽게 볼 수 있는 플랫폼류가 선보이고 있다. 이에 문화 자원을 실감형 콘텐츠화 하여 남녀노소 구분없이 보다 다양한 세대에게 지역의 우수한 문화 유적을 더 나은 정보를 제공하고 보다 흥미로움을 가질 수 있는 소재로 홍보할 수 있는 실감형 콘텐츠를 제작 보급해보고자 한다.Recently, new IT technologies have been gradually applied to viewing exhibits in museums and regional exhibition halls operating at home and abroad, and platforms that allow more information to be easily viewed are being introduced. To this end, we want to create and distribute immersive content that can be made into immersive contents of cultural resources to provide better information about excellent cultural relics of the region to a wider range of generations regardless of gender and age, and promote them as materials that can have more interest do.

예를 들어, 우수했던 가야문화 유적이 오늘 날에도 지역 곳곳에서 출토가 되는 사례가 많이 있다. 드물게는 원형을 간직한 유적물이 발견되기도 하나 대부분은 본래의 원형을 유지하지 못하거나, 원형을 유지하더라도 본래 최초의 유적물의 모습은 대부분 상상에 의존하여 관객들이 관람을 하므로, 지역의 우수했던 문화 기술을 보여주기 위한 문화 유적을 복원하는 실감 콘텐츠는 관객이 가능한 실감형 콘텐츠 플랫폼이 될 것이다.For example, there are many examples of excellent Gaya cultural relics being excavated from various parts of the region even today. In rare cases, relics retaining the original form are found, but most of them cannot maintain the original form, or even if the original form is maintained, the original appearance of the original relics mostly depends on the imagination and the audience sees it, so the excellent cultural technology of the region The immersive content that restores cultural relics to show will become an immersive content platform that audiences can enjoy.

이와 관련하여, 더 나아가 일찍이 로봇 문명이 존재했으나 사라진 오늘날 로봇의 유물이 발견되었다는 컨셉으로 관객이 발견된 다양한 로봇들의 유물과 부품을 직접 만져보고 눈으로 체험하는 공간 연출을 할 수 있다. 그리고, 로봇과 유물이 디지털 요소와 결합 되어 오래전 본래의 모습으로 복원되는 과정을 관객의 행위에 의해 인터렉티브하게 연출하면서 관객들에게 로봇을 더욱 생생하고 실감나게 체험할 수 있는 경험을 제공할 수도 있다.In this regard, furthermore, with the concept of discovering the relics of robots that existed in the past, but disappeared today, the audience can directly touch and experience the relics and parts of various robots that have been discovered. In addition, it is possible to provide the audience with a more vivid and realistic experience of robots while interactively directing the process of restoring robots and artifacts to their original shape by combining them with digital elements.

이러한 배경의 선행기술문헌은 관련 선행기술을 살펴볼 경우, 특허문헌으로부터 선행기술을 조사해서 관련 선행기술로서 직접적으로 관련된 국내선행기술이 검색되지 않고 참고할만한 아래의 특허문헌이 나올 정도일 뿐이다.In case of examining the related prior art in this background, the domestic prior art directly related as the related prior art by examining the prior art from the patent document is not searched, but the following patent documents are only available for reference.

(특허문헌 1) KR101968991 Y1(Patent Document 1) KR101968991 Y1

(특허문헌 2) KR1020160139633 A(Patent Document 2) KR1020160139633 A

참고적으로, 이러한 특허문헌 1은 유적에서 수습되는 다량의 유물 파편을 3D 스캐너를 이용하여 스캐닝한 다음 적합한 파편의 원위치에 다른 파편과 접합시켜 가상으로 복원시켜 실제 원형을 예측할 수 있도록 하는 기술이다.For reference, this patent document 1 is a technology to predict the actual original shape by scanning a large amount of fragments of relics recovered from ruins using a 3D scanner, and then bonding them to other fragments at the original location of the appropriate fragments to virtually restore them.

그리고, 특허문헌 2는 증강현실을 이용한 체험형 콘텐츠 제공 시스템에 관한 것으로, 사용자의 동작에 따라 증강현실콘텐츠의 동작 또는 제작 등이 가능하도록 함으로써 콘텐츠에 대한 사용자의 능동적인 참여가 가능하도록 하는 것이다.And, Patent Document 2 relates to an experiential content providing system using augmented reality, and by enabling the operation or production of augmented reality content according to the user's motion, the user's active participation in the content is possible.

개시된 내용은, 현재 발견된 파손된 유물 형상을 복구하는 장면을 관객의 참여 행위에 의해 인터랙션을 적용하여 연출할 수 있도록 하는 문화유적복원 실감 장치를 제공하고자 한다. The disclosed content is intended to provide a cultural relic restoration immersive device that allows the scene of recovering the shape of the currently discovered damaged relic to be produced by applying an interaction through the participation of the audience.

실시예에 따른 문화유적복원 실감 장치는,Cultural relic restoration sensory apparatus according to an embodiment,

문화유적복원의 체험을 할 경우, 다수의 상이한 박물관 또는 전시관별로 고유한 유물객체를 3D로 표시하고, 사용자스켈레톤에 의한 유물복원 자세와의 인터랙션 모션으로 복원 체험을 한다.In the case of experiencing cultural relic restoration, 3D display of unique relic objects for each of a number of different museums or exhibition halls and interactive motion with the posture of relic restoration by the user's skeleton is performed.

그리고, 이렇게 문화유적복원이 되어 감상을 할 경우에도, 복원된 유물객체를 3D로 표시하고, 사용자스켈레톤에 의한 자세와의 인터랙션 모션으로 전방향에 대해 관람객이 움직이는 데로 유물 감상하는 것을 특징으로 한다.And, even when viewing cultural relics in this way, the restored relics are displayed in 3D, and the interactive motion with the posture by the user skeleton allows the viewer to appreciate the relics as they move in all directions.

구체적으로, 이러한 문화유적복원 실감 장치는,Specifically, this cultural relic restoration sensory device is

문화유적복원의 체험을 할 시, 복원체험하는 사용자모션을 인식하는 모션 인식센서부;A motion recognition sensor unit for recognizing the user's motion to experience restoration when experiencing cultural relics restoration;

상기 모션 인식센서부에 의해 인식된 사용자모션을 디지털 신호 처리하여 사용자스켈레톤에 의한 자세를 추정하는 DSP부;DSP unit for estimating the posture by the user skeleton by digital signal processing the user motion recognized by the motion recognition sensor unit;

상기 문화유적복원의 체험과 감상을 할 각각의 유물객체를 3D로 표시하는 표시부;a display unit for displaying in 3D each relic object to experience and appreciate the cultural relic restoration;

상기 문화유적복원의 체험명령과 문화유적의 감상명령을 입력받는 키신호 입력부; 및a key signal input unit for receiving an experience command of cultural relic restoration and a command to appreciate cultural relics; and

상기 각 부를 제어하는 CPU; 를 포함하고 있다.CPU for controlling each unit; contains

그리고, 또한 상기 CPU는And, also the CPU is

a) 상기 문화유적복원의 체험명령이 입력될 경우, 상기 표시부에 해당되는 유물객체를 3D로 표시하고, 상기 DSP부에 의해 추정된 사용자스켈레톤에 의한 자세와의 제 1 인터랙션 모션으로 복원 체험을 한다.a) When the experience command for cultural relic restoration is input, the relic object corresponding to the display unit is displayed in 3D, and the restoration experience is performed with the first interaction motion with the posture of the user skeleton estimated by the DSP unit. .

b) 그리고, 상기 문화유적의 감상명령이 입력될 경우, 상기 표시부에 해당되는 유물객체를 3D로 표시하고, 상기 DSP부에 의해 추정된 사용자스켈레톤에 의한 자세와의 제 2 인터랙션 모션으로 유물 감상을 하는 것을 특징으로 한다.b) And, when the command to appreciate the cultural relics is input, the relic object corresponding to the display unit is displayed in 3D, and the relic appreciation is performed with a second interaction motion with the posture of the user skeleton estimated by the DSP unit. characterized in that

실시예들에 의하면, 현재 발견된 파손된 유물 형상을 복구하는 장면을 관객의 참여 행위에 의해 인터랙션을 적용하여 연출한다.According to the embodiments, the scene of recovering the shape of the currently found damaged relic is produced by applying the interaction by the participation of the audience.

그러므로, 이에 따라 오늘날 발견된 과거의 유산물의 모습과 과거의 당시 만들어졌을 때의 본래 원형을 비교해서 볼 수 있는 가상 체험으로 지금은 눈으로 확인하기 힘든 이전의 원형을 보면서 옛 문화 유산의 기술을 이해하고 더 풍부한 지역 역사의 이해를 돕는다.Therefore, it is a virtual experience that allows you to compare the appearance of the artifacts of the past discovered today and the original prototypes made at the time in the past. and facilitate a richer understanding of local history.

도 1은 일실시예에 따른 문화유적복원 실감 장치가 적용된 시스템을 전체적으로 도시한 도면
도 2는 일실시예에 따른 문화유적복원 실감 장치의 구성을 도시한 블록도
도 3은 일실시예에 따른 문화유적복원 실감 장치의 사용 상태를 순서대로 도시한 도면
도 4는 일실시예에 따른 문화유적복원 실감 장치에 적용된 사용자스켈레톤에 의한 모션 인식 동작을 구체적으로 설명하기 위한 도면
도 5는 일실시예에 따른 문화유적복원 실감 장치에 적용된 인터랙션 모션에 따른 표시 동작을 구체적으로 설명하기 위한 도면
1 is a view showing the overall system to which the sensory apparatus for restoring cultural relics according to an embodiment is applied;
2 is a block diagram illustrating the configuration of a sensory apparatus for restoring cultural relics according to an embodiment;
3 is a view sequentially showing the use state of the sensory apparatus for restoring cultural relics according to an embodiment;
4 is a view for specifically explaining a motion recognition operation by a user skeleton applied to the sensory apparatus for restoring cultural relics according to an embodiment;
5 is a view for specifically explaining a display operation according to an interactive motion applied to the sensory apparatus for restoring cultural relics according to an embodiment;

본 개시내용의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.Advantages and features of the present disclosure, and methods of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.

그러나 본 개시내용은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시내용의 개시가 완전하도록 하고, 본 개시내용이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시내용은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.However, the present disclosure is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the present embodiments make the disclosure of the present disclosure complete, and are common in the technical field to which the present disclosure pertains. It is provided to fully inform those with knowledge of the scope of the invention, and the present disclosure is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

본 개시내용의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술 되는 용어들은 본 개시내용의 실시 예에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present disclosure, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in the embodiments of the present disclosure, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 일실시예에 따른 문화유적복원 실감 장치가 적용된 시스템을 전체적으로 도시한 도면이다.1 is a view showing the overall system to which the sensory apparatus for restoring cultural relics according to an embodiment is applied.

도 1에 도시된 바와 같이, 일실시예의 시스템은 학생 등이 특정 지역 등의 박물관 등을 방문할 경우, 해당되는 지역의 문화유적을 복원체험 또는 감상할 수 있도록 하는 문화유적복원 실감 장치(100)와, 상기 문화유적복원 실감 장치에 의해 복원체험 등을 하는 장면 등을 나타내는 모니터(200)를 포함한다.As shown in FIG. 1, the system of one embodiment is a cultural relic restoration immersive device 100 that allows students to experience or appreciate the cultural relics of a specific area when they visit a museum, etc. in a specific area and a monitor 200 that displays a scene of a restoration experience using the sensory device for restoring cultural relics.

상기 문화유적복원 실감 장치(100)는 학생 등이 특정 지역 등의 박물관 등을 방문할 경우, 해당되는 지역 등의 문화유적을 관람객의 모션에 따라 3D로 직접 복원하는 장면을 상기 모니터에 나타내도록 함으로써, 문화유적의 복원을 체험할 수 있도록 한다. 보다 상세하게, 상기 문화유적복원 실감 장치(100)는 이때, 테이블 등에 설치된 모션 인식센서를 통해 관람객의 모션을 인식한다. 그리고, 상기 문화유적복원 실감 장치는 이러한 경우, 예를 들어 박물관 별로 상이한 지역유물 등의 문화유적을 3D형태로 나타내고, 인터랙션 모션으로 복원한다. 이에 더하여, 또한 이러한 문화유적복원 실감 장치(100)는 이러한 경우 복원된 유물을 관람객의 모션 제스처에 따라 전방향으로 관람객이 움직이는 데로 상기 모니터에 나타내도록 함으로써, 유물을 감상할 수 있도록 하는 것이다.The sensory apparatus 100 for restoring cultural relics displays on the monitor a scene of directly restoring cultural relics, such as a corresponding area, in 3D according to the motion of the viewer, when a student visits a museum, etc. in a specific area. , to experience the restoration of cultural relics. In more detail, the sensory apparatus 100 for restoring cultural relics recognizes the motion of the visitor through a motion recognition sensor installed on a table or the like. In this case, the sensory apparatus for restoring cultural relics represents, for example, cultural relics, such as regional relics, which are different for each museum in 3D form, and restores them with an interactive motion. In addition, in this case, the sensory apparatus 100 for restoring cultural relics displays the restored relics on the monitor as the viewer moves in all directions according to the viewer's motion gesture, so that the relics can be appreciated.

상기 모니터(200)는 상기 문화유적복원 실감 장치(100)에 의해 문화유적이 복원체험 또는 감상된 경우, 유물을 포함하는 복원장면을 3D로 나타내거나 또는, 복원된 유물을 관람객의 모션등에 따라 3D로 나타냄으로써, 관람객에게 복원체험 또는 유물감상을 할 수 있도록 한다.When the cultural relics are restored or appreciated by the sensory apparatus 100 for restoring cultural relics, the monitor 200 displays the restored scene including the relics in 3D, or displays the restored relics in 3D according to the motion of the viewer. By indicating as , it allows visitors to experience restoration or appreciate relics.

도 2는 일실시예에 따른 문화유적복원 실감 장치(100)의 구성을 도시한 블록도이다.2 is a block diagram illustrating the configuration of the sensory apparatus 100 for restoring cultural relics according to an embodiment.

도 2에 도시된 바와 같이, 일실시예의 장치(100)는 전술한 문화유적복원 체험을 할 경우에 관람객의 모션을 인식하는 모션 인식센서부(110)와, 관람객의 모션에 따른 자세를 추정하는 DSP부(120), 이러한 자세에 따른 복원장면 등을 상기한 모니터에 표시하는 표시부(130), 관련된 사용자명령을 입력받는 키신호 입력부(140) 및 상기 각 부를 제어하는 CPU(150)를 포함한다.As shown in Figure 2, the device 100 of an embodiment includes a motion recognition sensor unit 110 for recognizing the motion of a visitor when performing the above-described cultural relic restoration experience, and estimating a posture according to the motion of the visitor. It includes a DSP unit 120, a display unit 130 that displays a restored scene according to such posture on the monitor, a key signal input unit 140 that receives a related user command, and a CPU 150 that controls each unit. .

그리고, 일실시예에 따른 문화유적복원 실감 장치(100)는 상기 CPU(150)가 이러한 경우, 상기 표시부(1300에 해당되는 유물객체를 3D로 표시하고, 추정된 자세와의 인터랙션 모션으로 복원 체험 또는 유물감상을 한다.And, in the sensory apparatus 100 for restoring cultural relics according to an embodiment, in this case, the CPU 150 displays the artifact object corresponding to the display unit 1300 in 3D, and experiences restoration with an interaction motion with the estimated posture. Or appreciating relics.

추가적으로, 상기 문화유적복원 실감 장치(100)는 예를 들어, 지역마다 특화된 다수의 상이한 박물관 별로 고유한 지역유물 등의 문화유적콘텐츠를 저장하는 저장부(160)를 포함한다.Additionally, the sensory apparatus 100 for restoring cultural relics includes, for example, a storage unit 160 for storing cultural relics content such as regional relics unique to a plurality of different museums specialized for each area.

상기 모션 인식센서부(110)는 문화유적복원의 체험을 할 시, 복원체험하는 관람객의 사용자모션을 예를 들어, 손의 모션 제스처를 인식하여 상기 DSP부로 전달하는 것이다. 이러한 경우, 상기 손의 모션 제스처는 영상을 통해 입력받을 수 있다. 구체적인 예는 여기서의 발명에 대한 내용 마지막 부분에서 제시한다.The motion recognition sensor unit 110 recognizes, for example, a motion gesture of a hand of a visitor who experiences restoration when experiencing the restoration of cultural relics, and transmits it to the DSP unit. In this case, the motion gesture of the hand may be input through an image. Specific examples are presented at the end of the description of the invention herein.

상기 DSP부(120)는 상기 모션 인식센서부(110)에 의해 인식된 사용자모션을 디지털 신호 처리하여 사용자스켈레톤에 의한 자세를 예를 들어, 손의 제스처를 추정함으로써, 사용자모션을 획득하는 것이다.The DSP unit 120 digitally processes the user motion recognized by the motion recognition sensor unit 110 to obtain a user motion by estimating a posture by the user skeleton, for example, a hand gesture.

상기 표시부(130)는 상기 문화유적복원의 체험과 감상을 할 각각의 유물객체 또는, 장면 등을 3D로 표시한다. 이러한 경우, 상기 표시부(130)는 상기 유물객체가 상기 저장부(160)에 저장된 지역마다 특화된 다수의 상이한 박물관 별로 고유한 지역유물 등의 문화유적콘텐츠이다.The display unit 130 displays each relic object or scene to experience and appreciate the cultural relic restoration in 3D. In this case, the display unit 130 is cultural relic contents such as regional relics unique to a plurality of different museums specialized for each region in which the relic object is stored in the storage unit 160 .

상기 키신호 입력부(140)는 사용자 키 조작에 따라 상기 문화유적복원의 체험명령과 문화유적의 감상명령을 입력받아 상기 CPU(150)로 전달한다.The key signal input unit 140 receives the command to experience the restoration of cultural relics and the command to appreciate cultural relics according to the user's key operation, and transmits it to the CPU 150 .

상기 CPU(150)는 상기 각 부를 전체적으로 제어하는 것으로, a) 상기 문화유적복원의 체험명령이 입력될 경우, 상기 표시부(130)에 해당되는 유물객체를 3D로 표시하고, 상기 DSP부(120)에 의해 추정된 사용자스켈레톤에 의한 자세와의 제 1 인터랙션 모션으로 복원 체험을 한다. 그리고, 상기 CPU(150)는 b) 상기 문화유적의 감상명령이 입력될 경우, 상기 표시부(130)에 해당되는 유물객체를 3D로 표시하고, 상기 DSP부(120)에 의해 추정된 사용자스켈레톤에 의한 자세와의 제 2 인터랙션 모션으로 유물 감상을 하는 것이다.The CPU 150 controls each part as a whole, a) When the experience command of cultural relic restoration is input, the relic object corresponding to the display unit 130 is displayed in 3D, and the DSP unit 120 Restoration experience is performed with the first interaction motion with the posture by the user skeleton estimated by . Then, the CPU 150 b) When the command to appreciate the cultural relics is input, the relic object corresponding to the display unit 130 is displayed in 3D, and the user skeleton estimated by the DSP unit 120 is displayed. It is to appreciate the relics as a motion of the second interaction with the posture.

이러한 일실시예에 따른 문화유적복원 실감 장치(100)의 동작을 설명한다.An operation of the sensory apparatus 100 for restoring cultural relics according to this embodiment will be described.

먼저, 일실시예에 따른 문화유적복원 실감 장치(100)는 상기 키신호 입력부(140)가 관람객의 사용자 키 조작에 따라 문화유적복원의 체험명령을 입력받아 상기 CPU(150)로 전달한다.First, in the sensory apparatus 100 for restoring cultural relics according to an embodiment, the key signal input unit 140 receives an experience command for cultural relic restoration according to a user's key manipulation of the visitor and transmits it to the CPU 150 .

이때, 예를 들어, 상기 CPU(150)는 상기 문화유적복원의 체험명령 또는 문화유적의 감상명령이 입력될 경우, 상기 통합 문화유적 콘텐츠 플랫폼에 의해 해당되는 지역의 유물에 속하는 유물객체를 우선적으로 추천한다.At this time, for example, when the experience command of cultural relic restoration or the appreciation command of cultural relics is input, the CPU 150 preferentially selects the relic object belonging to the relic in the corresponding area by the integrated cultural relic content platform. I recommend you.

그리고, 일실시예에 따른 문화유적복원 실감 장치(100)는 상기 CPU(150)의 제어에 따라 상기 표시부(130)가 상기 문화유적복원의 체험을 할 유물객체를 표시하여 관람객에게 제공한다.In the cultural relic restoration sensory apparatus 100 according to an embodiment, the display unit 130 displays the relic object to experience the cultural relic restoration under the control of the CPU 150 and provides it to the viewer.

이러한 경우, 예를 들어 상기 표시부(130)는 상기 문화유적복원의 체험과 감상을 할 각각의 유물객체를 지역별과 유물별을 포함한 통합 문화유적 콘텐츠 플랫폼에 의해서 3D로 표시한다.In this case, for example, the display unit 130 displays each relic object to experience and appreciate the restoration of cultural relics in 3D by the integrated cultural relics content platform including regions and relics.

그리고 나서, 상기 모션 인식센서부(110)는 복원체험하는 관람객의 사용자모션을 예를 들어, 손의 모션 제스처를 인식하여 상기 DSP부(120)로 전달한다.Then, the motion recognition sensor unit 110 recognizes, for example, a motion gesture of a hand of a user motion of a visitor experiencing restoration, and transmits it to the DSP unit 120 .

그러면, 상기 DSP부(120)는 상기 모션 인식센서부(110)에 의해 인식된 사용자모션을 디지털 신호 처리하여 사용자스켈레톤에 의한 자세를 예를 들어, 손의 제스처를 추정함으로써, 사용자모션을 획득한다.Then, the DSP unit 120 digitally processes the user motion recognized by the motion recognition sensor unit 110 to obtain the user motion by estimating the posture of the user skeleton, for example, a hand gesture. .

그래서, 상기 CPU(150)는 복원할 유물객체와 상기 DSP부(120)에 의해 추정된 사용자스켈레톤에 의한 자세와의 제 1 인터랙션 모션으로 복원 체험을 한다.Therefore, the CPU 150 performs a restoration experience with the first interaction motion between the artifact object to be restored and the posture of the user skeleton estimated by the DSP unit 120 .

예를 들어, 상기 CPU(150)는 상기 DSP부(120)에 의해 추정된 사용자스켈레톤의 3D 모델과 매핑해서, 사용자에 대응하는 3D 모델에 따른 사용자스켈레톤에 의한 자세와의 제 1 인터랙션 모션으로 복원 체험을 한다.For example, the CPU 150 maps the 3D model of the user skeleton estimated by the DSP unit 120 and restores the first interaction motion with the posture of the user skeleton according to the 3D model corresponding to the user. do experience

그리고, 이렇게 유물이 복원된 후, 상기 CPU(150)는 상기 문화유적의 감상명령이 입력될 경우, 상기 표시부(130)에 해당되는 유물객체를 3D로 표시하고, 이에 따라 DSP부(120)에 의해 추정된 사용자스켈레톤에 의한 자세와의 제 2 인터랙션 모션으로 유물 감상을 한다.And, after the relic is restored in this way, when the command to appreciate the cultural relic is input, the CPU 150 displays the relic object corresponding to the display unit 130 in 3D, and accordingly, the DSP unit 120 Relics are appreciated by the second interaction motion with the posture by the user skeleton estimated by the

예컨대, 상기 CPU(150)는 상기 DSP부(120)에 의해 추정된 사용자스켈레톤의 3D 모델과 매핑해서, 사용자에 대응하는 3D 모델에 따른 사용자스켈레톤에 의한 자세와의 제 2 인터랙션 모션으로 유물 감상을 한다. For example, the CPU 150 maps the 3D model of the user skeleton estimated by the DSP unit 120 to appreciate the artifact as a second interaction motion with the posture of the user skeleton according to the 3D model corresponding to the user. do.

따라서, 이를 통해 일실시예는 현재 발견된 파손된 유물 형상을 복구하는 장면을 관객의 참여 행위에 의해 인터랙션을 적용하여 연출한다.Accordingly, in one embodiment, the scene of recovering the shape of the currently found damaged relic is produced by applying the interaction by the participation of the audience.

그러므로, 이에 따라 오늘날 발견된 과거의 유산물의 모습과 과거의 당시 만들어졌을 때의 본래 원형을 비교해서 볼 수 있는 가상 체험으로 지금은 눈으로 확인하기 힘든 이전의 원형을 보면서 옛 문화 유산의 기술을 이해하고 더 풍부한 지역 역사의 이해를 돕는다.Therefore, it is a virtual experience that allows you to compare the appearance of the artifacts of the past discovered today and the original prototypes made at the time in the past. and facilitate a richer understanding of local history.

이상과 같이, 일실시예는 문화유적복원의 체험을 할 경우, 다수의 상이한 박물관 또는 전시관별로 고유한 유물객체를 3D로 표시하고, 사용자스켈레톤에 의한 유물복원 자세와의 인터랙션 모션으로 복원 체험을 한다.As described above, in one embodiment, when an experience of cultural relic restoration is performed, a unique relic object is displayed in 3D for each of a number of different museums or exhibition halls, and a restoration experience is performed with an interaction motion with the relic restoration posture by the user skeleton. .

그리고, 이렇게 문화유적복원이 되어 감상을 할 경우에도, 복원된 유물객체를 3D로 표시하고, 사용자스켈레톤에 의한 자세와의 인터랙션 모션으로 전방향에 대해 관람객이 움직이는 데로 유물 감상을 한다.And, even in the case of cultural relic restoration and appreciation, the restored relic object is displayed in 3D, and the relic is viewed as the viewer moves in all directions with the motion of interaction with the posture by the user skeleton.

따라서, 이를 통해 일실시예는 현재 발견된 파손된 유물 형상을 복구하는 장면을 관객의 참여 행위에 의해 인터랙션을 적용하여 연출한다.Accordingly, in one embodiment, the scene of recovering the shape of the currently found damaged relic is produced by applying the interaction by the participation of the audience.

그러므로, 이에 따라 오늘날 발견된 과거의 유산물의 모습과 과거의 당시 만들어졌을 때의 본래 원형을 비교해서 볼 수 있는 가상 체험으로 지금은 눈으로 확인하기 힘든 이전의 원형을 보면서 옛 문화 유산의 기술을 이해하고 더 풍부한 지역 역사의 이해를 돕는다.Therefore, it is a virtual experience that allows you to compare the appearance of the artifacts of the past discovered today and the original prototypes made at the time in the past. and facilitate a richer understanding of local history.

도 3은 일실시예에 따른 문화유적복원 실감 장치의 사용 상태를 순서대로 도시한 도면이다.3 is a view sequentially illustrating the use state of the sensory apparatus for restoring cultural relics according to an embodiment.

도 3에 도시된 바와 같이, 일실시예에 따른 문화유적복원 실감 장치의 사용 상태는 먼저 1) 관람객 등이 박물관 또는 전시관을 방문할 경우, 예를 들어 그 지역에서 발굴된 문화유적의 출토 발굴 체험 및 감상을 한다.As shown in FIG. 3 , the state of use of the sensory apparatus for restoring cultural relics according to an embodiment is first: 1) When a visitor visits a museum or an exhibition hall, for example, excavation experience of cultural relics excavated in the area and appreciating.

2) 그리고 나서, 관람객이 출토된 유물 등을 감상한 후, 박물관 등의 특정 장소에 설치된 테이블에서 복원 모션을 수행하고, 그 테이블에 내장된 모션 인식센서를 통해 관람객의 모션을 인식한다.2) Then, after the visitor appreciates the excavated artifacts, a restoration motion is performed on a table installed in a specific place such as a museum, and the motion of the visitor is recognized through a motion recognition sensor built into the table.

이러한 경우, 관람객의 모션에 따라 유물 등을 3D로 직접 복원하는 장면을 모니터에 나타내도록 함으로써, 문화유적의 복원을 체험할 수 있도록 한다. 보다 상세하게, 상기 문화유적복원 실감 장치는 이때, 테이블 등에 설치된 모션 인식센서를 통해 관람객의 모션을 인식In this case, by displaying the scene in which the relics are directly restored in 3D according to the motion of the viewer, it is possible to experience the restoration of cultural relics. In more detail, the sensory device for the restoration of cultural relics recognizes the motion of the visitor through the motion recognition sensor installed on the table, etc.

3) 이러한 경우, 디스플레이를 통해 유물 등이 3D형태로 보여지고, 유물객체와 사용자스켈레톤에 따른 사용자복원자세와의 인터랙션 모션으로 복원을 체험한다.3) In this case, the artifacts are shown in 3D form through the display, and restoration is experienced through the interaction motion between the artifact object and the user's restoration posture according to the user's skeleton.

이때, 관람객의 모션에 따라 유물 등을 3D로 직접 복원하는 장면을 모니터에 나타낸다.At this time, the scene in which the relics are directly restored in 3D according to the motion of the viewer is displayed on the monitor.

4) 그래서, 이에 따라 유물 등의 문화유적이 복원된 경우, 관람객은 복원된 유물을 모션 제스처를 통해 전방향으로 움직이는 데로 유물을 감상한다.4) Therefore, when cultural relics such as relics are restored, the viewer appreciates the relics by moving the reconstructed relics in all directions through motion gestures.

도 4는 일실시예에 따른 문화유적복원 실감 장치에 적용된 사용자스켈레톤에 의한 모션 인식 동작을 구체적으로 설명하기 위한 도면이다.4 is a diagram for explaining in detail a motion recognition operation by a user skeleton applied to the sensory apparatus for restoring cultural relics according to an embodiment.

도 4에 도시된 바와 같이, 일실시예에 따른 문화유적복원 실감 장치에 적용된 사용자스켈레톤에 의한 모션 인식 동작은 먼저 상기한 DSP부가 a) 상기 모션 인식센서부에 의해 인식된 사용자모션을 시간 세그먼트로서 순차적으로 분할하여 상호 간의 상관관계에 따라 스켈로톤 시퀀스를 인식한다.As shown in Fig. 4, the motion recognition operation by the user skeleton applied to the sensory apparatus for restoring cultural relics according to an embodiment is first performed by the DSP unit a) the user motion recognized by the motion recognition sensor unit as a time segment. Recognize the skeleton sequence according to the mutual correlation by sequentially dividing.

b) 그리고 나서, 상기 인식된 스켈레톤 시퀀스의 시공간 특징을 동일 시점별로 추출한다.b) Then, spatiotemporal features of the recognized skeleton sequence are extracted for each same viewpoint.

이러한 경우, 예를 들어 상기 인식된 스켈레톤 시퀀스에 대한 스켈레톤의 전체특징과 부분특징을 추출하고, 각 부분별로 위치와 속도를 중첩해서 CNN 구조기반에 의해 스켈레톤 시퀀스의 시공간 특징을 동일 시점별로 추출한다.In this case, for example, the entire feature and partial feature of the skeleton for the recognized skeleton sequence are extracted, and the position and velocity of each part are superimposed, and the spatiotemporal features of the skeleton sequence are extracted by the same time point based on the CNN structure.

이때, 상기 CNN 구조는 예를 들어, 동일 시간 세그먼트별로 전체특징의 결합위치와 결합속도로부터 위치와 속도를 나타내고, 부분특징의 각 부분별 좌표값으로 된 축 상으로 위치와 속도를 나타내는 구조이다.In this case, the CNN structure is, for example, a structure indicating the position and velocity from the combined position and the combined velocity of the entire feature for each same time segment, and the position and velocity on the axis of the coordinate values for each part of the partial feature.

c) 다음, 상기 추출된 스켈레톤 시퀀스의 시공간 특징을 미리 설정된 3D 모션 맵에 예를 들어, 인체 손 모션 맵에 매핑하여 2D 스켈레톤을 추정한다.c) Next, the 2D skeleton is estimated by mapping the spatiotemporal features of the extracted skeleton sequence to a preset 3D motion map, for example, a human hand motion map.

이러한 경우, 상기 3D 모션 맵은 3D 인간의 모션에 대한 확률에 의해서 된 맵이다.In this case, the 3D motion map is a map made by probability for 3D human motion.

d) 그래서, 이렇게 추정된 2D 스켈레톤에 따라 3D 모션을 재구성함으로써, 사용자스켈레톤에 의한 자세를 추정한다.d) So, by reconstructing the 3D motion according to the 2D skeleton estimated in this way, the posture by the user skeleton is estimated.

예를 들어, 상기 3D모션의 재구성은 상기 추정된 2D 스켈레톤에 따른 3D 랜드 마크 위치로써 2D 위치를 검색해서 3D 모션을 재구성함으로써 이루어진다.For example, the reconstruction of the 3D motion is performed by reconstructing the 3D motion by searching for a 2D position as a 3D landmark position according to the estimated 2D skeleton.

즉, 3D 랜드 마크 위치에 대한 지식을 사용하여 2D 위치 검색을 향상시키는 접근법을 사용해서 3D 모션 재구성을 한다.That is, 3D motion reconstruction is done using an approach that uses knowledge of 3D landmark locations to enhance 2D location search.

이를 위해, 단안의 RGB 이미지를 사용하는 기존의 방법과 다르게To this end, unlike the conventional method that uses a monocular RGB image,

인간의 움직임을 이용하여 3D 인체를 예를 들어, 3D 인체의 손을 모델링한다.A 3D human body, for example, a hand of a 3D human body, is modeled using human movement.

따라서, 이를 통해 증강 현실에 있어서, 사용자의 자세 추정 정확도를 높인다.Therefore, through this, in augmented reality, the accuracy of estimating the user's posture is increased.

한편, 추가적으로 일실시예에 따른 문화유적복원 실감 장치에 적용된 사용자스켈레톤에 의한 모션 인식 동작은 전술한 바와 같이, 3D 인체를 모델링할 수 있는데, 구체적인 동작은 아래와 같다.Meanwhile, as described above, the motion recognition operation by the user skeleton applied to the sensory apparatus for restoring cultural relics according to an embodiment can model a 3D human body, and the detailed operation is as follows.

e) 먼저 상기한 바와 같이 추정된 2D 스켈레톤과 상기 재구성된 3D 모션을 기반으로 포즈를 재현하여 신체 부위를 재구성한다.e) First, a body part is reconstructed by reproducing a pose based on the 2D skeleton and the reconstructed 3D motion estimated as described above.

f) 그리고, 상기 재구성된 신체 부위에 템플릿을 구동해서 빈 신체 부위를 채우고 변형을 산출한다. 이를 이용하면 깊이(Depth)정보를 사용하지 않아도 된다.f) Then, by driving a template to the reconstructed body part, an empty body part is filled and deformation is calculated. If this is used, it is not necessary to use depth information.

g) 그리고 나서, 상기 산출된 변형에 따라 3D 인체를 생성해서 모델링함으로써, 사용자스켈레톤에 의한 자세를 추정한다.g) Then, by creating and modeling a 3D human body according to the calculated deformation, the posture by the user skeleton is estimated.

도 5는 일실시예에 따른 문화유적복원 실감 장치에 적용된 인터랙션 모션에 따른 표시 동작을 구체적으로 설명하기 위한 도면이다.5 is a diagram for describing in detail a display operation according to an interactive motion applied to the sensory apparatus for restoring cultural relics according to an embodiment.

도 5에 도시된 바와 같이, 일실시예에 따른 문화유적복원 실감 장치에 적용된 인터랙션 모션에 따른 표시 동작은 사람의 인지능력을 고려하여 표현함으로, 빠른 속도감 없이 안정적으로 원활히 쉽게 인지할 수 있도록 한다.As shown in Fig. 5, the display operation according to the interactive motion applied to the sensory apparatus for restoring cultural relics according to an embodiment is expressed in consideration of human cognitive ability, so that it can be recognized stably and smoothly without a sense of speed.

이를 위해, 일실시예에 따른 문화유적복원 실감 장치에 적용된 인터랙션 모션에 따른 표시 동작은 상기 CPU가 상기 DSP부에 의해 추정된 사용자스켈레톤에 의한 자세에 따른 디지털 값을 인체 인지 아날로그속도에 대응하여 감속시키도록 미리 설정된 다수의 불연속적인 이격 간격 단위에 따라 추출한다.To this end, in the display operation according to the interactive motion applied to the sensory apparatus for restoring cultural relics according to an embodiment, the CPU decelerates the digital value according to the posture by the user skeleton estimated by the DSP unit in response to the human body recognition analog speed. It is extracted according to a number of pre-set discrete spaced interval units.

이때, 마지막 부분은 정해진 순서의 샘플링시에 그 순서의 샘플링 마지막 이전의 샘플링 값보다 작은 값으로 변환하고, 다음 그 이전의 샘플링 값보다 큰 값으로 인체 인지 아날로그속도의 표현단위로 추출하면서 인터랙션 모션화한다.At this time, the last part converts to a value smaller than the sampling value before the last sampling in the sequence when sampling in a predetermined sequence, and extracts a value larger than the sampling value before the next as an expression unit of the human body perception analog speed, resulting in interaction motion do.

예를 들면, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... , 50, 51, 52, 53, 54, 55 등으로 표시하지 않고 1, 2, 5, 11, 등으로 표시하고 마지막 부분은 50, 52, 51, 53, 54 등으로 표시한다.For example, instead of 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... , 50, 51, 52, 53, 54, 55, etc., 1, 2, 5, 11, etc., and the last part is marked as 50, 52, 51, 53, 54, etc.

그래서, 이를 통해 일종의 애니메이션 처리된 인터랙션 정보를 표시한다.So, through this, a kind of animated interaction information is displayed.

다른 한편으로, 일실시예에 따른 문화유적복원 실감 장치에 적용될 만한 기술을 제시하면 아래와 같다.On the other hand, a technique applicable to the sensory apparatus for restoring cultural relics according to an embodiment is presented as follows.

먼저, 일실시예에 따른 문화유적복원 실감 장치에 적용된 증강현실의 동작을 보다 구체적으로 실질적인 예를 들어 설명한다.First, the operation of the augmented reality applied to the sensory apparatus for restoring cultural relics according to an embodiment will be described in more detail with a practical example.

이러한 경우, 상기 증강현실의 동작은 사용자의 스켈레톤을 추출하여 나타내는 것이다.In this case, the operation of the augmented reality is to extract and display the user's skeleton.

먼저, 특정 공간에 설치되어 있는 하나의 일반 카메라로부터 사용자의 영상정보를 취득한다.First, image information of a user is acquired from a single general camera installed in a specific space.

그리고, 이를 실시간으로 스켈레톤을 추출하여 사용자와 매핑하여 증강 현실을 통해 시각화한다.Then, the skeleton is extracted in real time, mapped with the user, and visualized through augmented reality.

이때, 일반 카메라는 정면 또는 측면에 위치해 있어 사용자의 정면 모습 또는 측면 모습을 취득/시각화 할 수 있다.At this time, since the general camera is located in the front or side, it is possible to acquire/visualize the user's front or side view.

그리고, 정해진 공간에 배치되어 사용자의 영상을 취득하는 하나의 일반 카메라에 의해 사용자의 영상을 스켈레톤으로 추출한다.Then, the user's image is extracted as a skeleton by a single general camera arranged in a predetermined space to acquire the user's image.

그래서, 이에 따라 이를 사용자의 영상에 매핑하는 프로그램으로 구성된다.So, it consists of a program that maps it to the user's image accordingly.

이를 통해, 이러한 사용자의 스켈레톤 추출에 의해 사용자의 복원 동작을 정확하게 파악할 수 있어 실시간 영상 기반으로 정확하게 증강 현실을 구현한다.Through this, it is possible to accurately grasp the user's restoration operation by extracting the user's skeleton, thereby accurately realizing augmented reality based on a real-time image.

또한, 일반 카메라 하나 만으로 사용자의 스켈레톤 추출을 통해 증강 현실로 사용자의 모습을 시각화 할 수 있어광학적 장비가 불필요하고 이를 구현하는데 어려움이 없다.In addition, since the user's appearance can be visualized in augmented reality through extraction of the user's skeleton with only one general camera, optical equipment is unnecessary and there is no difficulty in implementing it.

또 다른 예로는, 초광각 카메라를 이용하는 것이다. 구체적으로는 아래와 같다.Another example is to use an ultra-wide-angle camera. Specifically, it is as follows.

즉, 문화유적복원에 대한 초광각 카메라 모듈의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환하고, 이러한 파노라마 평면영상에서 인체의 손을 인식하여 상기 인식된 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공하는 것이다.That is, the circular omnidirectional image of the ultra-wide-angle camera module for the restoration of cultural relics is converted into a panoramic flat image by wide-angle correction, and a human hand is recognized in this panoramic flat image to generate a control event according to the recognized hand shape change. will provide

그래서, 사용자 인터페이스를 원활히 제공한다.Therefore, the user interface is provided smoothly.

보다 상세하게는, 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 광각 보정하여 파노라마 평면영상으로 변환한다.More specifically, a circular omnidirectional image of the ultra-wide-angle camera module is received and converted into a flat panoramic image by performing wide-angle correction.

다음, 이렇게 변환된 파노라마 평면영상에서 인체의 손을 인식하여, 상기 인식된 손 모양의 변화에 따른 제어이벤트를 발생하여 제공한다.Next, a human hand is recognized in the converted panoramic plane image, and a control event is generated and provided according to the recognized hand shape change.

예를 들어, 다음과 같은 동작으로 이루어진다.For example, the following operation is performed.

먼저, 초광각 카메라에 입력된 손 영역이 포함된 영상으로부터 초기 손 영역을 파악하고, 상기 검출된 초기 손영역에 대해 스테레오 카메라의 시차를 이용하여 손 영역을 확인한다.First, an initial hand region is identified from an image including the hand region input to the ultra-wide-angle camera, and the detected initial hand region is identified using the parallax of the stereo camera.

그리고 나서, 상기 확정된 손 영역에 대해 손 모양을 검출하는 손 모양을 검출하고, 상기 검출된 손 모양의 변화에 따른 손의 동작을 인식하여 제어 이벤트를 발생한Then, a hand shape for detecting a hand shape is detected for the determined hand region, and a control event is generated by recognizing a hand motion according to a change in the detected hand shape.

다.all.

예를 들어, 상기 초기 손 영역 검출은 손을 흔들어 입력 받은 손이 포함된 영상으로부터 흔들림이 있는 영역을 흔들림이 없는 영역으로부터 구분하여 검출하고, 이를 초기 손 영역으로 파악한다.For example, in the initial hand region detection, a shaking region is distinguished from a non-shaken region from an image including a hand received by shaking a hand, and this is recognized as an initial hand region.

그리고, 손 영역 검출은 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 손 영역과 배경으로 분리한다.And, the hand region is separated into a hand region and a background using a Gaussian mixture model.

또한, 상기 손 영역 확정은 상기 초기 영상의 시차 정보를 이용하여 손 및 배경의 거리를 각각 계산하여 가장 근접한 지점을 확인하고, 상기 가장 근접한 지점의 영역을 손 영역으로 확정한다.Also, in determining the hand region, the distance between the hand and the background is respectively calculated using the disparity information of the initial image to determine the closest point, and the region of the closest point is determined as the hand region.

다음, 인식된 인체 손 모양의 변화에 따른 제어 이벤트를 발생하여 제공한다.Next, a control event is generated and provided according to a change in the recognized human hand shape.

예를 들어, 영상 프레임에서의 손 중심점의 위치와 스크린상에서의 포인터 위치를 매칭하고, 영상 프레임에서의 손 중심점의 위치 변화 정보를 체크하여, 상기 손 중심점의 위치 변화가 설정 변화량 이상인 경우 손 중심점 위치변화 궤적에 상응하는 제어 무브(move) 이벤트를 발생한다.For example, by matching the position of the hand center point in the image frame and the pointer position on the screen, checking the position change information of the hand center point in the image frame, if the position change of the hand center point is greater than the set change amount, the hand center point position A control move event corresponding to the change trajectory is generated.

그리고, 손을 모두 편 형상 상태에서 주먹 쥔 형상 상태로 변한 경우 제어 클릭 이벤트를 발생한다.In addition, when a state in which the hands are all open is changed to a state in which the hands are clenched, a control click event is generated.

또한, 손 중심점의 트랙킹(Tracking) 방향과 그 트랙킹 시작점을 기준으로 종료점까지의 거리 값과 임계값 간의 대소 비교 결과를 기반으로 제어 왼쪽 이동, 오른쪽 이동 이벤트를 발생하여 제공한다.In addition, control left movement and right movement events are generated and provided based on the tracking direction of the center point of the hand and the size comparison result between the distance value from the tracking start point to the end point and the threshold value.

그렇게 하여, 손의 모양을 인식함으로써 마우스나 리모컨과 같은 장치를 사용하지 않고, 컴퓨팅 기기와 사용자간의 인터페이스를 구성할 수 있어 편의성과 다양한 응용이 가능하다.In this way, by recognizing the shape of the hand, it is possible to configure an interface between the computing device and the user without using a device such as a mouse or a remote control, so that convenience and various applications are possible.

참고적으로, 가상현실을 이용한 유적 원형의 디지털 복원의 과정은 아래와 같다.For reference, the process of digital restoration of the original archaeological site using virtual reality is as follows.

가상현실 제작은 크게 네 단계로 이루어진다. 첫째 자료조사 및 기획 단계이다. 가상현실 구성 대상을 선정하고 관련 역사자료를 수집하고 연구 성과를 정리하는 단계이다.Virtual reality production consists of four major steps. The first stage is data research and planning. This is the stage in which virtual reality components are selected, related historical data are collected, and research results are organized.

이 단계에서는 정보통신 기술수준을 감안한 적용 프로그램을 결정한다.At this stage, the application program is decided in consideration of the level of information and communication technology.

두 번째 단계는 구성 단계이다. 자료조사와 역사 연구성과 정리를 바탕으로 시나리오를 작성하고 이 시나리오와 스토리보드를 작성한다. 스토리보드는 화면속의 장소, 상황, 동작, 타이밍, 효과 등을 표시한 일종의 화면 설계도이다.The second step is the configuration step. Create a scenario based on data research and historical research results, and write this scenario and storyboard. A storyboard is a kind of screen blueprint that displays the place, situation, action, timing, effect, etc. in the screen.

셋째 단계는 작업 단계이다. 먼저 대상을 모델링한 후, 매핑, 라이팅, 가상현실 프로그램 작업을 하면 이 단계는 종료된다. 가상현실 프로그램 작업이란 이용자가 가상세계에 쉽게 다가갈 수 있도록 탐색 경로, 음향, 상호 작용 등이 가능하도록 프로그램을 구성하는 것을 말한다. 이 단계에서 제작되는 대상물에 대한 철저한 고증이 이루어져야 한다. 넷째 단계는 최종 점검 단게이다. 이러한 작업 과정을 거쳐 가상현실이 완성된다.The third stage is the work stage. After modeling the object first, mapping, lighting, and virtual reality program work are completed. Virtual reality program work refers to composing a program so that a search path, sound, and interaction are possible so that users can easily access the virtual world. In this stage, a thorough examination of the manufactured object must be made. The fourth step is the final inspection step. Through this process, virtual reality is completed.

이를 위해, Vray와 Rendering to texture기술을 이용하여 가상현실의 광적효과가 진실세계와 비슷한 효과를 주게 만들었으며 이것을 통하여 더욱 생동감 있는 미적효과의 가상현실 프로젝트를 경험한다.To this end, by using Vray and Rendering to texture technology, the optical effect of virtual reality gives an effect similar to the real world, and through this, you experience a virtual reality project with a more lively aesthetic effect.

또 다른 한편으로, 여기에서는 사용자의 모션이 인식될 경우, 미리 설정된 손 3차원 모델링 포맷에 의해서 상기 인식된 모션을 3차원 모델링함으로써, 손을 재현하여 정밀한 자세 추정이 이루어지도록 한다.On the other hand, here, when a user's motion is recognized, the recognized motion is 3D modeled by a preset hand 3D modeling format, so that the hand is reproduced and precise posture estimation is made.

이를 위해, 사용자의 모션이 인식될 경우, 미리 설정된 손 3차원 모델링 포맷에 의해서 손의 피처를 3차원 모델링함으로써, 손의 피처별로 3차원 모델을 획득한다.To this end, when a user's motion is recognized, a 3D model is obtained for each hand feature by 3D modeling a hand feature using a preset hand 3D modeling format.

그리고, 상기한 피처 이외의 주변영역을 설정해서, 손표면의 곡면에 대한 모델링 기반의 미리 설정된 주변영역 3차원 모델 포맷에 의해 상기 주변영역을 3차원 곡면화하여 재현함으로써, 3차원모델로서 획득한다.And, by setting a peripheral area other than the above-mentioned features, and reproducing the surrounding area by 3D curved surface by a preset peripheral area 3D model format based on modeling for the curved surface of the hand surface, it is obtained as a three-dimensional model. .

또한, 상기한 손의 피처별 3차원 모델과 손 피처 이외의 주변영역에 대한 3차원모델이 획득된 경우, 획득된 손 피처 이외의 주변영역에 대한 3차원 곡면화로부터 손의 피처별 3차원 모델을 정합함으로써, 손재현한다.In addition, when the three-dimensional model for each feature of the hand and the three-dimensional model for the peripheral region other than the hand feature are obtained, the three-dimensional model for each feature of the hand is obtained from the three-dimensional curvature of the peripheral region other than the obtained hand feature. By matching , it is reproduced by hand.

이러한 경우, 상기한 손의 피처별로 3차원 모델이 획득된 경우, 미리 설정된 주변영역 곡면형 분할 포맷에 의해 손 피처 이외의 주변영역을 시스템적으로 분절화함으로써, 상기 주변영역을 시스템적으로 설정한다.In this case, when a three-dimensional model is obtained for each feature of the hand, the peripheral region is systematically set by systematically segmenting peripheral regions other than the hand features by a preset peripheral region curved segmentation format.

그리고 나서, 상기 손표면의 곡면에 대한 모델링 기반의 미리 설정된 주변영역 3차원 모델 포맷에 의해 상기 설정된 주변영역을 3차원 곡면화하여 재현함으로써, 3차원모델로서 획득한다.Then, by reproducing the set peripheral region as a three-dimensional curved surface by a preset peripheral region three-dimensional model format based on modeling for the curved surface of the hand surface, it is obtained as a three-dimensional model.

100 : 문화유적복원 실감 장치
110 : 모션 인식센서부 120 : DSP부
130 : 표시부 140 : 키신호 입력부
150 : CPU 160 : 저장부
100: Cultural relic restoration experience device
110: motion recognition sensor unit 120: DSP unit
130: display unit 140: key signal input unit
150: CPU 160: storage

Claims (10)

문화유적복원의 체험을 할 시, 복원체험하는 사용자모션을 인식하는 모션 인식센서부; 상기 모션 인식센서부에 의해 인식된 사용자모션을 디지털 신호 처리하여 사용자스켈레톤에 의한 자세를 추정하는 DSP부; 상기 문화유적복원의 체험과 감상을 할 각각의 유물객체를 3D로 표시하는 표시부; 상기 문화유적복원의 체험명령과 문화유적의 감상명령을 입력받는 키신호 입력부; 및 상기 각 부를 제어하는 CPU; 를 포함하는 문화유적복원 실감 장치에 있어서,

상기 문화유적복원 실감 장치에 적용된 증강현실이 구현되는 방법은
특정 공간에 설치되어 있는 하나의 일반 카메라로부터 사용자의 영상정보를 취득하는 제1단계;
상기 제1단계에서 취득한 영상정보를 실시간으로 스켈레톤을 추출하여 사용자와 매핑하여 증강 현실을 통해 시각화하는 제2단계;
카메라는 정해진 공간에 배치되어 사용자의 영상을 취득하는 하나의 일반 카메라에 의해 사용자의 영상을 스켈레톤으로 추출하는 제3단계;.
상기 제3단계에서의 영스켈레톤을 영상에 매핑하는 제4단계로 이루어지며,
상기 CPU는
a) 상기 문화유적복원의 체험명령이 입력될 경우, 상기 표시부에 해당되는 유물객체를 3D로 표시하고, 상기 DSP부에 의해 추정된 사용자스켈레톤의 3D 모델과 매핑해서, 사용자에 대응하는 3D 모델에 따른 사용자스켈레톤에 의한 자세와의 제 1 인터랙션 모션으로 복원 체험을 하고,
b) 상기 문화유적의 감상명령이 입력될 경우, 상기 표시부에 해당되는 유물객체를 3D로 표시하고, 상기 DSP부에 의해 추정된 사용자스켈레톤의 3D 모델과 매핑해서, 사용자에 대응하는 3D 모델에 따른 사용자스켈레톤에 의한 자세와의 제 2 인터랙션 모션으로 유물 감상하며,
상기 DSP부는
a-1) 상기 모션 인식센서부에 의해 인식된 사용자모션을 시간 세그먼트로서 순차적으로 분할하여 상호 간의 상관관계에 따라 스켈로톤 시퀀스를 인식하고,
b-1) 상기 인식된 스켈레톤 시퀀스의 시공간 특징을 동일 시점별로 추출하고,
c-1) 상기 추출된 스켈레톤 시퀀스의 시공간 특징을 미리 설정된 3D 모션 맵에 매핑하여 2D 스켈레톤을 추정하며,
d-1) 상기 추정된 2D 스켈레톤에 따라 3D 모션을 재구성하여 사용자스켈레톤에 의한 자세를 추정하고,
e-1) 상기 추정된 2D 스켈레톤과 상기 재구성된 3D 모션을 기반으로 포즈를 재현하여 신체 부위를 재구성하고,
f-1) 상기 재구성된 신체 부위에 템플릿을 구동해서 빈 신체 부위를 채우고 변형을 산출하며,
g-1) 상기 산출된 변형에 따라 3D 인체를 생성해서 모델링함으로써, 사용자스켈레톤에 의한 자세를 추정하며,
상기 DSP부는 상기 인식된 스켈레톤 시퀀스의 시공간 특징을 동일 시점별로 추출하고, 상기 인식된 스켈레톤 시퀀스에 대한 스켈레톤의 전체특징과 부분특징을 추출하고, 각 부분별로 위치와 속도를 중첩해서 CNN 구조기반에 의해 스켈레톤 시퀀스의 시공간 특징을 동일 시점별로 추출하며,
상기 DSP부에 의해 추정된 사용자스켈레톤에 의한 자세에 따른 디지털 값을 인체신호인지 인지하여, 아날로그 속도에 대응하여 감속시키도록 미리 설정된 다수의 불연속적인 이격 간격 단위에 따라 추출하여 인터랙션 모션화하고,
상기 CPU는 상기 문화유적복원의 체험명령 또는 문화유적의 감상명령이 입력될 경우, 등록 통합 문화유적 콘텐츠 플랫폼에 의해 해당되는 지역의 유물에 속하는 유물객체를 우선적으로 추천하는 것을 특징으로 하는 문화유적복원 실감 장치.

A motion recognition sensor unit that recognizes the user's motion to experience restoration when experiencing cultural relics restoration; DSP unit for estimating the posture by the user skeleton by digital signal processing the user motion recognized by the motion recognition sensor unit; a display unit for displaying in 3D each relic object to experience and appreciate the cultural relic restoration; a key signal input unit for receiving an experience command of cultural relic restoration and a command to appreciate cultural relics; and a CPU for controlling the respective units. In the cultural relic restoration sensory apparatus comprising a,

How the augmented reality applied to the cultural relic restoration sensory device is implemented
A first step of acquiring the user's image information from one general camera installed in a specific space;
a second step of extracting the image information obtained in the first step in real time, mapping it with the user, and visualizing it through augmented reality;
A third step of extracting the user's image as a skeleton by one general camera that is arranged in a predetermined space and acquires the user's image;
It consists of a fourth step of mapping the young skeleton in the third step to an image,
the CPU is
a) When the experience command of cultural relic restoration is input, the artifact object corresponding to the display unit is displayed in 3D, and the 3D model of the user skeleton estimated by the DSP unit is mapped to the 3D model corresponding to the user. Restoration experience with the first interaction motion with the posture by the user skeleton
b) When the command to appreciate the cultural relics is input, the relic object corresponding to the display unit is displayed in 3D and mapped with the 3D model of the user skeleton estimated by the DSP unit, according to the 3D model corresponding to the user. Appreciating the artifacts with the second interaction motion with the posture by the user skeleton,
The DSP unit
a-1) sequentially dividing the user motion recognized by the motion recognition sensor unit as time segments to recognize the skeleton sequence according to the mutual correlation;
b-1) extracting the spatiotemporal features of the recognized skeleton sequence for each same time point,
c-1) estimating a 2D skeleton by mapping the spatiotemporal features of the extracted skeleton sequence to a preset 3D motion map,
d-1) reconstructing 3D motion according to the estimated 2D skeleton to estimate the posture by the user skeleton,
e-1) Reconstruct a body part by reproducing a pose based on the estimated 2D skeleton and the reconstructed 3D motion,
f-1) driving a template to the reconstructed body part to fill an empty body part and calculate a deformation;
g-1) By creating and modeling a 3D human body according to the calculated deformation, the posture by the user skeleton is estimated,
The DSP unit extracts the spatiotemporal features of the recognized skeleton sequence at the same time point, extracts the overall features and partial features of the skeleton for the recognized skeleton sequence, and superimposes the position and speed for each part by CNN structure based Extracts the spatiotemporal features of the skeleton sequence at the same time point,
Recognizes whether the digital value according to the posture by the user skeleton estimated by the DSP unit is a human body signal, extracts it according to a number of discrete spaced interval units preset to decelerate in response to the analog speed, and converts it into an interaction motion,
The CPU restores cultural relics, characterized in that when an experience command of cultural relics restoration or an appreciation command of cultural relics is input, relic objects belonging to the relics of the corresponding region are preferentially recommended by the registered integrated cultural relics content platform sensory device.

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020200019851A 2020-02-18 2020-02-18 Apparatus for feeling to remodeling historic cites KR102388715B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200019851A KR102388715B1 (en) 2020-02-18 2020-02-18 Apparatus for feeling to remodeling historic cites

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019851A KR102388715B1 (en) 2020-02-18 2020-02-18 Apparatus for feeling to remodeling historic cites

Publications (2)

Publication Number Publication Date
KR20210105484A KR20210105484A (en) 2021-08-27
KR102388715B1 true KR102388715B1 (en) 2022-04-21

Family

ID=77504451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019851A KR102388715B1 (en) 2020-02-18 2020-02-18 Apparatus for feeling to remodeling historic cites

Country Status (1)

Country Link
KR (1) KR102388715B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454256A (en) * 2022-10-11 2022-12-09 云南视广科技有限公司 Digital oath word tombstone device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723823B1 (en) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 Interaction Implementation device of Dynamic objects and Virtual objects for Interactive Augmented space experience
KR101968991B1 (en) * 2017-03-31 2019-04-15 이건우 System for providing restoration service of cultural heritage using 3D scanner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723823B1 (en) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 Interaction Implementation device of Dynamic objects and Virtual objects for Interactive Augmented space experience
KR101968991B1 (en) * 2017-03-31 2019-04-15 이건우 System for providing restoration service of cultural heritage using 3D scanner

Also Published As

Publication number Publication date
KR20210105484A (en) 2021-08-27

Similar Documents

Publication Publication Date Title
CN110515452B (en) Image processing method, image processing device, storage medium and computer equipment
CN105981076B (en) Synthesize the construction of augmented reality environment
JP7079231B2 (en) Information processing equipment, information processing system, control method, program
JP3148045B2 (en) 3D object CG creation device
EP3321889A1 (en) Device and method for generating and displaying 3d map
KR101723823B1 (en) Interaction Implementation device of Dynamic objects and Virtual objects for Interactive Augmented space experience
CN106355153A (en) Virtual object display method, device and system based on augmented reality
KR20140082610A (en) Method and apaaratus for augmented exhibition contents in portable terminal
CN102270275A (en) Method for selection of an object in a virtual environment
CN101414383B (en) Image processing apparatus and image processing method
EP3533218B1 (en) Simulating depth of field
CN114730498A (en) Scalable three-dimensional object recognition in cross-reality systems
KR101723828B1 (en) Interactive Augmented space available space expansion engines experience applied Cube system
CN113709543A (en) Video processing method and device based on virtual reality, electronic equipment and medium
US20170213392A1 (en) Method and device for processing multimedia information
CN116097316A (en) Object recognition neural network for modeless central prediction
KR102388715B1 (en) Apparatus for feeling to remodeling historic cites
KR102467903B1 (en) Method for presenting motion by mapping of skeleton employing Augmented Reality
Saggio et al. Augmented reality for restoration/reconstruction of artefacts with artistic or historical value
KR20190074911A (en) Method for providing realistic type image contents and server using the same
Kim et al. 3-d virtual studio for natural inter-“acting”
KR20230095197A (en) Method and apparatus for interaction method between cognitive mesh information generated in a three-dimensional space and virtual objects
KR20140078083A (en) Method of manufacturing cartoon contents for augemented reality and apparatus performing the same
Sparacino et al. Browsing 3-D spaces with 3-D vision: body-driven navigation through the Internet city
WO2017147826A1 (en) Image processing method for use in smart device, and device

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right