KR102699232B1

KR102699232B1 - Vr을 이용한 잠수함 전투 체계 시스템 및 vr을 이용한 잠수함 전투 체계 시스템의 제어 방법

Info

Publication number: KR102699232B1
Application number: KR1020220053943A
Authority: KR
Inventors: 윤원혁; 지재경; 배정환
Original assignee: 엘아이지넥스원 주식회사
Priority date: 2022-05-02
Filing date: 2022-05-02
Publication date: 2024-08-27
Also published as: KR20230154488A

Abstract

본 발명은 VR과 음성 인식을 활용하여 공간상의 제약이 존재하는 잠수함 내에서 효율적으로 전투 체계를 운용할 수 있는 VR을 이용한 잠수함 전투 체계 시스템 및 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법에 관한 것이다. 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투 체계 시스템은 복수개의 콘솔 장비가 설치된 잠수함 전투 체계 시스템에 있어서, 복수개의 콘솔 장비와 네트워크 연결되고, 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 제어장치; 제어장치에서 변환된 VR 화면 정보를 표시하는 VR 장비; 및 음성정보를 입력하고 제어장치로 제공하는 헤드 셋을 포함하고,
제어장치는 헤드 셋을 통해서 입력된 음성정보를 입력하고, 입력된 음성정보가 각 콘솔 장비로 전달해야 하는 명령정보일 때, 문자 정보로 변환해서 각 콘솔 장비로 제공하고, 입력된 음성정보가 VR 장비에 표시를 위한 영상제어정보일 때, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 영상제어정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하고,
제어장치는 VR 장비를 통해서 가속도 정보가 입력되면, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 입력된 가속도 정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 것을 특징으로 한다.

Description

VR을 이용한 잠수함 전투 체계 시스템 및 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법{Submarine combat system using VR and control method of submarine combat system using VR}

본 발명은 VR과 음성 인식을 활용하여 공간상의 제약이 존재하는 잠수함 내에서 효율적으로 전투 체계를 운용할 수 있는 VR을 이용한 잠수함 전투 체계 시스템 및 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

VR은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 기술로서, 머리에 장착하는 디스플레이 디바이스인 HMD를 활용한다. VR은 컴퓨터 게임, 의학, 항공, 및 군 영역에 까지 도입되어 다양하게 응용되고 있다. 특히, 군 영역에서는 군사 훈련, 모의 교전 훈련 등에 응용되어, 군인들이 실제와 같은 느낌으로 전투 훈련을 가능하게 한다는 점에서 매우 유용하게 활용된다.

VR은 특정한 공간을 필요로 하지 않는 특징이 있다. 그렇기 때문에 공간상의 제약이 있어도 VR을 활용하여 원하는 목적을 달성하는 것이 가능하다.

한국등록특허공보 제10-2137872호(발명의 명칭 : 작전테마 콘텐츠를 이용한 AR VR MR 교전 모의 훈련 시스템)는 모의훈련시스템에 있어서, 모의훈련에 대한 프로그램이 저장되는 서버와, 서버의 모의훈련 프로그램에 필요한 데이터가 저장되는 데이터베이스와 서버를 통해 모의훈련에 대한 프로그램을 설정할 수 있도록 하는 디스플레이와 서버를 통해 모의훈련 영상 출력 및 훈련이 가능하도록 제어하는 모션컨트롤러를 포함하되, 모션컨트롤러는 모의훈련 영상 출력 및 착용이 가능한 VR과 VR을 통해 출력되는 모의훈련 영상에 따라 훈련이 가능하도록 제어하는 리모콘과 VR과 리모콘을 활용하여 유도탄 및 포탄을 포격할 수 있도록 훈련이 가능한 곡사화기를 더 포함하도록 제공하는 것이다. 조종술 향상을 위해 AR 및 동작인식 기술을 적용하여 작전테마 콘텐츠를 통한 다양한 훈련방식이 가능한 AR VR MR을 이용한 교전 모의 훈련 시스템을 제공할 수 있다.

즉, 한국등록특허공보 제10-2137872호(발명의 명칭 : 작전테마 콘텐츠를 이용한 AR VR MR 교전 모의훈련시스템)는 AR VR MR을 활용한 모의훈련시스템에 있어서, 모의훈련에 대한 프로그램을 설정할 수 있도록 하는 디스플레이와 서버를 통해 모의훈련 영상 출력 및 훈련이 가능하도록 제어하는 모션컨트롤러의 구성을 개시하고 있다.

한편, 잠수함에 배치되는 전투 체계 시스템은 한정된 공간으로 인하여 많은 제약이 뒤따른다. 일 예로 잠수함 지휘관의 경우, 잠수함 내 여러 위치에 배치된 복수개의 콘솔 화면을 직접 그리고 전체적으로 확인하고, 통괄해서 지휘 명령을 내릴 필요성이 있지만, 잠수함 내의 한정된 공간과 거리 상의 제약으로 인하여 복수개의 콘솔 화면을 실시간 확인하기는 매우 어려웠다.

따라서 본 발명에서는 잠수함과 같이 한정된 공간에 적용되는 전투 체계에 VR을 활용하여 효율적인 감시와 운용이 이루어질 수 있도록 그 구성을 제안한다.

한국등록특허공보 제10-2137872호(발명의 명칭 : 작전테마 콘텐츠를 이용한 AR VR MR 교전 모의 훈련 시스템)

따라서 본 발명의 목적은 잠수함과 같은 한정된 공간 내에서 이용되는 전투 체계에서, VR과 음성 인식을 활용하여 전투 체계의 효율적 운용을 도모할 수 있는 VR을 이용한 잠수함 전투 체계 시스템 및 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법을 제공함에 있다.

본 발명의 다른 목적은 잠수함과 같은 한정된 공간 내에서 이용되는 전투 체계에서, 음탐사의 소나 음파 청음 효율을 높이고, 소나 운용에 따른 전투 체계의 효율적 감시와 운용을 도모할 수 있는 VR을 이용한 잠수함 전투 체계 시스템 및 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법을 제공함에 있다.

상기와 같은 기술적 과제를 해결하기 위해 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투 체계 시스템은 복수개의 콘솔 장비가 설치된 잠수함 전투 체계 시스템에 있어서, 복수개의 콘솔 장비와 네트워크 연결되고, 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 제어장치; 제어장치에서 변환된 VR 화면 정보를 표시하는 VR 장비; 및 음성정보를 입력하고 제어장치로 제공하는 헤드 셋을 포함하고,

제어장치는 헤드 셋을 통해서 입력된 음성정보를 입력하고, 입력된 음성정보가 각 콘솔 장비로 전달해야 하는 명령정보일 때, 문자 정보로 변환해서 각 콘솔 장비로 제공하고, 입력된 음성정보가 VR 장비에 표시를 위한 영상제어정보일 때, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 영상제어정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하고,

제어장치는 VR 장비를 통해서 가속도 정보가 입력되면, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 입력된 가속도 정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 것을 특징으로 한다.

일 실시예에 따르면 제어장치는 헤드 셋을 통해서 입력된 음성정보를 수신하고 각 콘솔 장비로 전달해야 하는 명령정보인지 VR 장비에 표시를 위한 영상제어정보인지를 분석하는 음성수신부; 음성수신부에서 제공하는 명령정보를 문자정보로 변환하고, 복수개의 콘솔 장비로 전송하는 음성문자송신부; 음성수신부에서 제공하는 영상제어정보 또는 VR 장비에서 제공하는 가속도 정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하는 영상제어부를 포함하는 것을 특징으로 한다.

일 실시예에 따르면 음성수신부는 수신한 음성정보를 FFT 변환을 수행하는 FFT 변환부; FFT 변환된 신호를 CNN을 이용하여 특징점을 추출하는 특징점 추출부;특징점 추출신호를 이용하여 수신한 음성정보를 분석하고, 명령정보 또는 영상제어정보를 생성하는 생성부를 포함하는 것을 특징으로 한다.

일 실시예에 따르면 영상제어부는 음성수신부에서 제공하는 영상제어정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하기 위한 영상선택정보를 생성하는 생성부를 포함하는 것을 특징으로 한다.

일 실시예에 따르면 영상제어부는 VR 장비에서 제공하는 가속도 정보를 입력하고, 화면이동 방향정보를 생성하는 이동방향확인부를 포함하는 것을 특징으로 한다.

일 실시예에 따르면 제어장치는 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하는 콘솔화면수신부; 콘솔화면수신부에서 수신된 복수개의 콘솔 화면 정보를 윈도우 화면 정보로 전환하여 VR 장비를 이용하여 표시할 수 있도록 구성하고, 영상제어부의 제어하에 VR 장비에 표시될 콘솔 화면 정보를 선택하여 구성하는 영상합성부; 및 영상합성부의 출력신호를 VR 신호로 변환하여 VR 장비로 송신하는 VR 송신부를 포함하는 것을 특징으로 한다.

일 실시예에 따르면 복수개의 콘솔 장비는 각 기능 수행 과정 및 결과에 따른 콘솔 화면을 콘솔화면수신부로 송신하는 콘솔화면송신부; 음성문자송신부에서 송신된 문자정보를 수신하는 문자수신부; 문자수신부에서 수신된 문자정보를 각각의 콘솔 화면에 표시하는 문자표시부를 포함하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 초기상태에서 복수개의 콘솔 화면을 각각 윈도우 화면으로 구성하여 VR 장비에 전체 영상 표시를 수행하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 초기상태에서 복수개의 콘솔 화면을 각각 상단과 하단으로 구분 구성하여 VR 장비에 전체 영상 표시를 수행하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 초기상태에서 전체 영상 표시 화면 중, 기설정된 특정 위치의 윈도우 화면을 선택 상태로 표시 제어하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 초기 선택된 윈도우 화면에서 영상제어부의 영상선택정보에 기반해서 다른 윈도우 화면의 선택을 표시 제어하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 영상제어부의 영상선택정보에 기반해서 선택된 윈도우 화면을 VR 장비의 전체 화면으로 표시 제어하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 선택된 윈도우 화면을 VR 장비의 전체 화면으로 표시 제어할 때, VR 장비의 화면 일부에 선택된 해당 콘솔 정보가 문자로 표시 제어되는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 VR 장비의 표시 화면의 기설정된 위치에 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 문자로 표시 제어하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 삭제 제어하는 것을 특징으로 한다.

일 실시예에 따르면 영상합성부는 VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 변경 제어하는 것을 특징으로 한다.

일 실시예에 따르면 VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보는 헤드 셋을 통해 입력되는 음성정보에 따라서 음성문자송신부를 통해서 복수개의 콘솔 장비로 문자 전송되는 것을 특징으로 한다.

일 실시예에 따르면 복수개의 콘솔 장비로 문자 전송된 명령 정보는 VR 장비의 전체 화면 정보에 표시된 윈도우에 문자 표시되고, 해당 콘솔 장비로부터 확인 신호를 수신하면 해당 윈도우에 표시된 문자가 사라지는 것을 특징으로 한다.

일 실시예에 따르면 복수개의 콘솔 장비 중 적어도 하나의 콘솔 장비는 소나 연동 및 통제를 위한 것이고, 제어장치에서 전달하는 명령 정보는 해당 콘솔 장비의 표시 화면에 문자로 표시되는 포함하는 것을 특징으로 한다.

상기와 같은 기술적 과제를 해결하기 위해 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투 체계 시스템은 복수개의 콘솔 장비가 설치된 잠수함 전투체계 시스템에 있어서, 복수개의 콘솔 장비와 네트워크 연결되고, 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 제어장치; 제어장치에서 변환된 VR 화면 정보를 표시하는 VR 장비; 및 음성정보를 입력하고 제어장치로 제공하는 헤드 셋을 포함하고,

제어장치는 헤드 셋을 통해서 입력된 음성정보를 수신하고 각 콘솔 장비로 전달해야 하는 명령정보인지 VR 장비에 표시를 위한 VR 화면 제어정보인지를 분석하는 음성수신부; 음성수신부에서 제공하는 명령정보를 문자정보로 변환하고, 각각의 콘솔 장비로 전송하는 음성문자송신부; 음성수신부에서 제공하는 VR 화면 제어정보 및(또는) VR 장비에서 제공하는 가속도정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하는 영상제어부; 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하는 콘솔화면수신부; 콘솔화면수신부에서 수신된 복수개의 콘솔 화면 정보를 작은 윈도우 화면 정보로 전환하여 VR 장비를 이용하여 표시할 수 있도록 구성하고, 영상제어부의 제어하여 VR 장비에 표시될 콘솔 화면 정보를 선택하여 구성하는 영상합성부; 및 영상합성부의 출력신호를 VR 신호로 변환하여 VR 장비로 송신하는 VR 송신부를 포함하고,

복수개의 콘솔 장비는 각 기능 수행 과정 및 결과에 따른 콘솔 화면을 콘솔화면수신부로 송신하는 콘솔화면송신부; 음성문자송신부에서 송신된 문자정보를 수신하는 문자수신부; 문자수신부에서 수신된 문자정보를 각각의 콘솔 화면에 표시하는 문자표시부를 포함하는 것을 특징으로 한다.

상기와 같은 기술적 과제를 해결하기 위해 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법은 청구항 1 내지 청구항 19 중 어느 한 항에 따른 VR을 이용한 잠수함 전투체계 시스템을 사용하여, 제어장치에서 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 단계; 제어장치에서 헤드 셋을 통해서 입력된 음성정보를 입력하고, 입력된 음성정보가 각 콘솔 장비로 전달해야 하는 명령정보일 때, 문자 정보로 변환해서 각 콘솔 장비로 제공하는 단계; 제어장치에서 헤드 셋을 통해서 입력된 음성정보가 VR 장비에 표시를 위한 영상제어정보일 때, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 영상제어정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 단계; 및 제어장치에서 VR 장비를 통해서 가속도 정보가 입력되면, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 입력된 가속도 정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투 체계 시스템 및 VR을 이용한 잠수함 전투 체계 시스템의 제어 방법은 잠수함과 같이 한정된 공간, 거리 상의 제약이 존재하는 곳에서 운용되는 전투 체계 시스템에서 VR을 활용하여 지휘관에게 복수개의 콘솔 화면에 대한 정보를 실시간 제공할 수 있다. 따라서 잠수함 또는 함정 지휘관은 공간상의 제약과 관계없이 복수개의 콘솔 화면을 실시간 전체적으로 확인하고, 통괄해서 지휘 명령을 내리는 것이 가능해진다.

또한, 본 발명은 지휘관이 착용하고 있는 헤드 셋, VR 장비를 통해서 각 콘솔 장비로 전달하고자 하는 명령 정보를 문자 정보로 변환해서 복수개의 콘솔 장비로 제공 가능하고, 복수개의 콘솔 장비는 수신한 문자 정보를 콘솔 화면에 표시할 수 있다. 따라서 본 발명은 음탐사와 같이 소나 연동 및 통제를 위한 콘솔 장비를 운용하는 관리자가 온전하게 소나 음향 탐지에 청각을 집중하면서도, 시각적으로 지휘관의 명령 정보를 콘솔 화면으로 확인하는 것이 가능하다.

도 1은 일반적인 잠수함 내 설치된 복수개의 콘솔 장비에 대한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템의 개념도를 도시하고 있다.
도 3은 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템의 상세 구성도를 도시하고 있다.
도 4는 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템에서 음성수신부(160)의 상세 구성도를 도시하고 있다.
도 5는 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템에서 영상제어부(180)의 상세 구성도를 도시하고 있다.
도 6 내지 도 8은 VR 장비(300)에 표시되는 영상 표시 화면의 예시도를 도시하고 있다.
도 9 내지 도 11은 VR 장비(300)에 표시되는 영상 표시 화면의 다른 예시도를 도시하고 있다.
도 12 내지 도 14는 VR 장비(300)에 표시되는 영상 표시 화면의 다른 예시도를 도시하고 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"와 "기", "장치"와 "시스템", 등은 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.

잠수함은 물 속에서 운항 가능한 함대로 단순하게는 적의 정찰, 어뢰 공격을 들 수 있지만, 그 외에도 기상 및 해양 조사, 인명 구조 등, 매우 다양한 임무를 수행할 정도로 그 이용 범위가 매우 넓다. 잠수함은 특성 상, 한정된 내부 공간을 갖고, 그 한정된 공간 내에 전투 체계 시스템을 포함한 다양한 구성요소들을 갖추게 된다.

일반적인 잠수함의 전투 체계 시스템은 도 1에 도시하고 있는 바와 같이, 멀티 기능 제어 콘솔 장비가 다수개 배치되고, 각각의 콘솔 장비에 대해서 특정의 관리자로 하여금 관리할 수 있도록 한다. 그리고 잠수함을 전체적으로 지휘하는 지휘관은 각 콘솔 장비의 관리자와 별도로 다수의 콘솔 화면을 직접 모니터링 하고, 통괄하여 지휘 명령을 내리게 된다.

그러나 잠수함의 내부 공간의 구조 및 거리 제약 상, 다수의 콘솔 화면과 지휘관과의 거리가 일정거리 이상 떨어져 있고, 콘솔 화면을 해당 관리자가 가리는 경우도 발생될 수 있다. 이러한 제약 때문에 잠수함 지휘관이 전체 상황 인식하기까지 일정 시간이 소요되는 문제점이 발생되고, 이는 신속 정확한 지휘가 수반되어야 하는 잠수함의 전투 체계 시스템에 하나의 문제가 된다.

또한, 잠수함의 중요 기능 중 하나인 소나 음향 탐지 기능을 수행하는 콘솔 장비 및 해당 관리자(음탐사)는 청각적으로 소나 음향 탐지에 온전히 집중해야 하는데도 불구하고, 지휘관의 명령도 동시에 들어야 하는 문제가 있다.

따라서 본 발명에서는 잠수함과 같이 공간 상의 제약이 발생하는 전투 체계시스템에서 다수의 콘솔 화면을 실시간으로 VR 화면을 이용하여 지휘관에게 제공하고, 상황에 따라서 지휘관이 관심 화면을 확대, 축소, 전체 표시 등을 선택하고, 복수개의 콘솔 장비로 지휘관의 명령을 문자로 전달할 수 있도록 하여 신속한 전투 체계 시스템의 운용이 이루어질 수 있도록 한다.

또한 본 발명에서는 소나 음향 탐지 기능을 수행하는 콘솔 장비 및 음탐사가 청각적으로 소나 음향 탐지에 온전히 집중할 수 있도록 하고, 잠수함 지휘관의 명령에 대해서는 문자 전송을 통하여, 해당 콘솔 장비의 화면에 문자로 표시될 수 있도록 제어하는 것을 특징으로 한다.

그리고 본 발명에서는 잠수함의 전투 체계 시스템에서 음성과 VR의 가속도 정보를 이용하여 지휘관에게 제공되는 VR 화면 표시 제어, 복수개의 콘솔 장비에 명령 정보의 문자 표시 제어가 이루어질 수 있도록 하는 것을 특징으로 한다.

도 2는 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템의 개념도를 도시하고 있다.

도시되는 실시예에서는 5개의 멀티 기능 제어 콘솔 장비가 설치되고 있다. 각각의 콘솔 장비들(200,210,220,230,240)은 잠수함 내에 배치되고, 잠수함의 생존성과 은밀성의 목적 달성을 위하여 감시 및 운용을 제어한다. 각 콘솔 장비들(200,210,220,230,240)은 단일 및 다중 음향/비음향 센서를 이용하여 표적 운동정보를 추정하는 잠수함용 표적기동분석 기술, 소나연동 및 통제 기술, 중어뢰 통제 기술, 수중환경에서의 다종센서 복합항법 기술, 음탐환경분석 처리 및 분석 기술, 표적기동분석 기술 등을 탑재한다. 이를 위해서 각 콘솔 장비들 (200,210,220,230,240)은 소나센서 신호 수신 및 전시처리, 표적정보 융합처리 등을 통한 표적관리 및 교전 지원, 무장 운용, 전술항해 지원 및 운용 지원 등의 특징을 갖는다.

각각의 콘솔 장비들(200,210,220,230,240)은 네트워크를 통해서 제어 장치(100)와 연결되고 있다. 각각의 콘솔 장비들(200,210,220,230,240)은 네트워크를 통해서 각각의 기능 수행에 따른 콘솔 화면 정보를 제어 장치(100)로 제공하고, 제어 장치(100)는 수신된 콘솔 화면 정보를 VR 화면으로 전환하여 VR 장비(300)로 제공한다.

제어 장치(100)는 지휘관의 헤드 셋(400)과 연결되어서 음성 정보의 입출력을 제어하고, 입력된 음성 정보가 각 콘솔 장비로 전달되어야 하는 명령 정보일 경우에는 문자 정보로 전환하여 해당 콘솔 장비로 제공한다.

그리고 VR 장비(300)에서 지휘관의 움직임에 기반하여 가속도 정보가 인식되면, 인식된 가속도 정보가 제어 장치(100)로 제공된다. 이때, 제어 장치(100)는 인식된 VR 가속도 정보에 기반하여 VR 장비(300)에 표시되는 영상을 제어 한다.

도시된 실시예에서 VR 장비(300)는 지휘관에게 다수의 콘솔 장비들(200,210,220,230,240)에 대한 화면 정보를 제공하도록 구성되고, 본 발명의 일 실시예에서는 각각의 콘솔 장비에 대해서 상하로 구분된 두개의 윈도우로 표시되도록 하여, 총 10개의 윈도우로 구성하고 있다.

도시된 실시예에서 헤드 셋(400)과 VR 장비(300)를 구분해서 표시하고 있으나, 이는 일체형으로 구성되는 헤드마운트디스플레이(HMD)를 이용할 수 있다. 그리고 VR 장비(300)는 지휘관의 움직임을 감지하기 위한 자이로 센서 등이 탑재되어 있다.

도 3은 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투 체계 시스템의 상세 구성도를 도시하고 있다.

다수개의 콘솔 장비들(200,210,220,230,240)은 제어 장치(100)와 유무선 네트워크로 연결된다. 도시되지 않고 있지만, 다수개의 콘솔 장비들은 자신에게 부여된 고유의 기능을 수행하기 위하여 잠수함의 내외부에 장착된 다수의 센서 및 장치들, 무장(무기)들과 유선 또는 무선으로 연결되고 있다. 즉, 다수개의 콘솔 장비들(200,210,220,230,240)은 잠수함 전투 체계 시스템의 관리하에 자신에게 부여된 고유의 기능을 수행하고, 기능 수행에 따른 과정 및 결과를 콘솔 화면에 표시한다.

일 예로 소나센서 신호 수신 및 전시처리를 수행하는 콘솔 장비는 해당 기능의 수행과정 및 결과를 해당 콘솔 화면에 표시한다. 표적정보 융합처리 등을 통한 표적관리 및 교전 지원을 수행하는 콘솔 장비는 해당 기능의 수행과정 및 결과를 해당 콘솔 화면에 표시한다. 무장 운용을 제어하는 콘솔 장비는 해당 기능의 수행과정 및 결과를 해당 콘솔 화면에 표시한다. 전술항해 지원 및 운용을 지원하는 콘솔 장비는 해당 기능의 수행과정 및 결과를 해당 콘솔 화면에 표시한다.

이와 같이 각각의 콘솔 장비에서 각 기능 수행 과정 및 결과에 따라 표시되는 화면 정보가 네트워크를 통해서 제어 장치(100)로 전달된다. 따라서 각각의 콘솔 장비에는 콘솔 화면 정보를 송신하는 콘솔화면송신부(250)를 포함한다.

또한 각각의 콘솔 장비는 제어 장치(100)에서 송신한 문자 정보를 수신하는 문자 수신부(260)를 포함한다. 그리고 수신된 문자 정보를 해당 콘솔 장비의 관리자가 신속하게 인식 가능하도록 콘솔 화면 내 기설정된 위치에 문자로 표시하는 문자 표시부(270)를 포함한다.

통상적으로 문자 표시부(270)는 콘솔 화면의 일정 영역으로 설정되고, 해당 콘솔 화면은 앞서 설명한 각 기능의 수행과정 및 결과를 표시하는 영역을 공통으로 이용하게 된다. 따라서 해당 기능의 표시에 방해가 발생하지 않도록 문자 표시부(270)의 문자 표시는 설정된 짧은 시간동안만 표시가 이루어지는 것이 바람직하다. 또는 문자표시부(270)의 문자 표시는 해당 콘솔 화면의 관리자가 확인과 동시에 사라지도록 설정하는 것이 바람직하다. 이를 위해서 해당 콘솔 장비에서 문자 확인신호가 제어장치(100)로 전달되도록 구성할 수 있다.

그리고 문자 표시부(270)에 표시되는 문자는 지휘관의 음성 명령 정보를 문자 정보로 전환하여 표시하는 것으로, 해당 콘솔 장비의 관리자가 시각적으로 신속하게 인식하는 것이 바람직하다. 특히, 해당 콘솔 장비가 소나센서 신호 수신 및 전시처리를 수행하는 콘솔 장비일 경우, 소나 표적을 탐지하고 식별하기 위하여 해당 콘솔 장비의 관리자(음탐사)는 청각을 온전하게 소나 표적 탐지에 집중해야만 한다. 따라서 해당 콘솔 장비의 관리자가 소나 표적 탐지에 청각적으로 온전히 집중하는 상태에서 해당 콘솔 장비에 지휘관이 명령한 명령 문자 정보가 표시되면, 관리자가 해당 명령을 시각적으로 즉시 인식하고, 그에 따른 제어를 수행하는 것이 가능해진다.

그리고 제어 장치(100)는 지휘관이 착용하고 있는 헤드 셋(400)과 유선 또는 무선으로 연결된다. 그리고 제어 장치(100)는 영상 디스플레이장치인 VR 장비(300)와 유선 또는 무선으로 연결된다.

제어장치(100)는 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하는 콘솔화면수신부(140), 콘솔화면수신부에서 수신된 복수개의 콘솔 화면 정보를 윈도우 화면 정보로 전환하여 VR 장비를 이용하여 표시할 수 있도록 구성하고, 영상제어부의 제어하에 VR 장비에 표시될 콘솔 화면 정보를 선택하여 구성하는 영상합성부(170), 영상합성부의 출력신호를 VR 신호로 변환하여 VR 장비로 송신하는 VR 송신부(190)를 포함한다.

또한, 제어장치(100)는 헤드 셋(400)을 통해서 입력된 음성정보를 수신하고 각 콘솔 장비로 전달해야 하는 명령정보인지 VR 장비에 표시를 위한 영상제어정보인지를 분석하는 음성수신부(160), 음성수신부에서 제공하는 명령정보를 문자정보로 변환하고, 복수개의 콘솔 장비로 전송하는 음성문자송신부(150), 음성수신부에서 제공하는 영상제어정보 또는 VR 장비에서 제공하는 가속도 정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하는 영상제어부(180)를 포함한다.

그리고 제어 장치(100)는 음성수신부(160)에서 분석된 음성 정보가 VR 장비(300)에 표시될 영상을 제어하기 위한 영상제어정보일 경우 이 신호를 기반으로 영상제어부(180)는 영상합성부(170)의 출력신호를 선택한다.

또한, VR 장비(300)는 자이로 센서를 이용하여 지휘관의 움직임에 따른 가속도 정보를 검출하고, 해당 가속도 정보를 영상제어부(180)에 제공한다. 영상제어부(180)는 이때 검출된 가속도 정보를 기반으로 영상합성부(170)의 출력신호를 선택한다.

그리고 VR 송신부(190)에서 송신되는 VR 영상 신호는 VR 장비(300)를 통해서 잠수함 지휘관에게 시각적으로 제공되어진다.

도 4는 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템에서 음성수신부(160)의 상세 구성도를 도시하고 있다.

음성수신부(160)는 헤드 셋(400)으로부터 음성정보를 수신한다. 수신된 음성정보는 FFT 변환부(161)와 특징점 추출부(162)를 통해서 FFT 변환과 특징점 추출이 이루어진다. 그리고 추출된 특징점을 이용해서 기저장된 음성정보와의 비교를 통해서 체계를 위한 명령정보인지 또는 표시 영상의 선택 및 제어 등을 위한 영상제어정보인지를 판단하고, 명령정보 또는 영상제어정보를 생성하는 생성부(163)를 포함한다.

여기서 특징점 추출부(162)는 FFT 변환부(161)를 통해서 변환된 음성신호를 CNN(Convolution Neural Network)을 사용해 특징점을 추출한다. 또한 추출된 특징점을 이용해서 기저장된 음성정보와의 비교는 해당 단어의 의미 또는(및) 현재 화면의 표시상태에 기반하여 신호처리가 이루어진다. 일 예로 현재 4번 상단 콘솔 화면이 선택된 상태에서, '콘솔 4번 상단 확대'와 '콘솔 확대'는 해당 단어의 의미 또는(및) 현재 화면의 표시 상태에 기반해서 4번 상단의 콘솔 화면을 VR 장비(300) 전체 화면 크기로 표시하기 위한 동일한 명령으로 인식 가능하다. 마찬가지로 특정 콘솔 화면이 확대 선택된 상태에서 '콘솔 전체'와 '콘솔 축소'는 해당 단어가 갖는 의미 또는(및) 현재 화면의 표시 상태에 기반해서 VR 장비(300) 전체 화면에 모든 콘솔 화면에 대해서 다수개의 작은 윈도우 화면으로 표시하기 위한 동일한 명령으로 인식 가능하다. 이와 같이, 본 발명에서는 입력된 음성정보에 대한 신호처리를 위하여 기결정된 단어 형태 외에도 해당 단어의 의미 또는(및) 현재 화면의 표시상태에 기반해서 신호처리를 수행하는 것이 가능하다.

도 5는 본 발명의 일 실시예에 따른 VR을 이용한 잠수함 전투체계 시스템에서 영상제어부(180)의 상세 구성도를 도시하고 있다.

영상제어부(180)는 음성수신부(160)를 통해서 입력되는 영상제어정보 또는 VR 장비(300)를 통해서 입력되는 가속도 정보를 기반으로 VR 장비(300)에 표시되는 콘솔 화면의 영상을 선택 제어한다. 이를 위해서 VR 장비(300)는 잠수함 체계관의 움직임을 감지하고, 감지된 값에 따른 가속도 정보를 영상제어부(180)로 제공하도록 구성된다.

영상제어부(180)에 입력된 가속도정보는 이동방향확인부(182)에 입력되고, 이동방향확인부(182)는 입력된 가속도정보에서 방향정보를 인식하여 출력한다. 이동방향확인부(182)에서 출력되는 방향정보 또는 음성수신부(160)에서 출력되는 영상제어정보는 영상선택정보 생성부(181)에 입력된다. 영상선택정보 생성부(181)는 입력된 정보에 기반해서 VR 장비(300)를 통해서 출력할 영상을 선택하는 영상선택정보를 영상합성부(170)로 출력한다.

다음은 본 발명의 실시예에 따른 VR과 음성인식을 이용한 잠수함 전투체계 시스템의 동작 과정을 살펴본다.

도 6 내지 도 8은 VR 장비(300)에 표시되는 영상 표시 화면의 예시도를 도시하고 있다.

초기 상태에서 체계관의 VR 장비(300)에는 잠수함 내 모든 콘솔 장비들(200,210,220,230,240)에 대한 화면 정보가 표시되어진다. 이를 위해서 제어 장치(100)는 모든 콘솔 장비들(200,210,220,230,240)의 화면 정보를 콘솔화면 수신부(140)를 통해서 수신하고, 영상합성부(170)에서 하나의 화면 내 다수개의 작은 윈도우로 합성하여 VR 송신부(190)를 통해서 VR 장비(300)에 송출한다.

도 6은 초기 상태에서 VR 장비(300)에 표시되는 영상 화면 상태를 도시하고 있고, 초기 상태에서 5번 콘솔 화면의 상단이 선택되어 있는 상태이다. 즉, 영상합성부(170)는 VR 장비(300)의 초기 화면 상태로 복수개의 콘솔 화면을 각각 윈도우 화면으로 구성하여 전체 영상 표시가 이루어질 수 있도록 제어할 수 있다. 그리고 초기 화면 상태에서 복수개의 콘솔 화면을 각각 상단과 하단으로 구분 구성하여 VR 장비 전체 영상 표시가 이루어질 수 있도록 제어할 수 있다. 또한, 영상합성부(170)는 초기상태에서 전체 영상 표시 화면 중, 기설정된 특정 위치(5-1의 위치)의 윈도우 화면을 선택 상태로 표시 제어할 수 있다.

이와 같이 VR 장비(300)에 표시되고 있는 상태에서, 지휘관이 우측으로 고개를 돌리거나 음성으로 '콘솔 4번 상단"이라고 명령을 하면, 도 7에 도시된 바와 같이 4번 콘솔 상단 윈도우가 선택된다. 즉, 영상합성부(170)는 초기 선택된 윈도우 화면(5-1)에서 영상제어부(180)의 영상선택정보에 기반해서 도 7에 도시하고 있는 바와 같이 다른 윈도우 화면(4-1)의 선택을 표시 제어할 수 있다.

이때 VR 장비(300)의 영상 표시 제어는 도 4에 도시된 음성 인식을 통한 영상제어정보 또는 도 5에 도시된 지휘관의 움직임에 기반한 가속도정보를 인식한 영상제어부(180)의 제어하에 영상합성부(170)의 영상선택정보를 통해서 제어가 이루어진다.

그리고 체계관이 음성으로 '콘솔 4번 상단 확대' 또는 '콘솔 확대'라는 명령을 하면, 음성정보가 음성수신부(160)를 통해서 영상제어부(180)에서 인식하고, 현재 선택된 4번 상단 윈도우가 도 8에 도시하고 있는 바와 같이, VR 장비(300)의 전체 화면 크기로 전환된다. 그리고 VR 화면의 우측 상단에는 '4번 상단'과 같이 선택된 콘솔 화면 정보도 함께 표시된다.

도 9 내지 도 11은 VR 장비(300)에 표시되는 영상 표시 화면의 다른 예시도를 도시하고 있다.

도 8에 도시된 바와 같이 특정 콘솔 화면이 확대 표시된 상태에서, 지휘관이 '콘솔 전체' 또는 '콘솔 축소'라는 명령을 입력하면, 지휘관의 VR 장비(300)에는 잠수함 내 모든 콘솔 장비들(200,210,220,230,240)에 대한 화면 정보가 표시되어진다. 이때의 VR 장비(300)의 표시화면을 도 9에 도시하고 있다. 이 경우 해당 명령 전 단계에서 4번 콘솔 상단이 선택되고 있었으므로 도 9의 표시 상태에서도 4번 상단이 선택된 상태가 된다.

다음, 지휘관이 콘솔 장비로 전달할 명령을 입력하면, 해당 명령이 VR 장비(300)의 표시화면 하단에 도 10과 같이 표시된다. 일 예로 체계관이 '전달 표적 1번 확인'이라는 명령이 입력되면, 화면 하단에 '표적 1번 확인'과 같이 전달할 문자 표시가 이루어진다. 즉, 영상합성부(170)는 VR 장비(300)의 표시 화면의 기설정된 위치에 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋(400)을 통해 입력되는 음성정보에 따라서 문자로 표시 제어 가능하다. 이때의 명령정보는 음성수신부(160)와 영상제어부(180)를 통해서 영상합성부(170)에 전달 가능하다.

그리고 지휘관이 '전달 취소'를 명령하면, 도 11에 도시된 바와 같이, 표시되었던 전달할 문자 표시가 삭제된다. 즉, 영상합성부(170)는 VR 장비(300)의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 삭제 제어할 수 있다. 이때의 제어도 음성수신부(160)와 영상제어부(180)를 통해서 영상합성부(170)에 전달 가능하다.

도 12 내지 도 14는 VR 장비(300)에 표시되는 영상 표시 화면의 다른 예시도를 도시하고 있다.

도 12는 영상합성부(170)에서 VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 변경 제어하는 예시도를 도시하고 있다. 도 12는 도 10에 도시된 바와 같이, 지휘관이 "전달 표적 1번 확인"의 표시 화면에서 "전달 표적 2번 확인"으로 변경한 경우의 VR 장비에 표시되는 예시도 이다.

즉, 영상합성부(170)는 음성수신부(160)와 영상제어부(180)를 통해서, 헤드 셋(400)을 통해서 입력되는 음성정보의 분석을 수행하고, 영상제어부(180)의 제어하에 영상합성부(170)에서 구성되는 VR 화면에 표시될 명령 정보를 변경 제어 가능하다.

또한, 영상합성부(170)는 VR 장비(300)의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보는 헤드 셋을 통해 입력되는 음성정보에 따라서 음성문자송신부(150)를 통해서 복수개의 콘솔 장비로 문자 전송된다. 즉, 도 12와 같이 VR 장비(300)의 표시 화면의 하단 기설정된 위치에 표시된 명령 정보, "표적 2번 확인"은 지휘관이 명령 전달을 지시하는 음성 정보, "좋아"에 기반해서 복수의 콘솔 장비로 전달되어진다.

그리고 도 13에 도시된 바와 같이, 복수개의 콘솔 장비로 문자 전송된 명령 정보는 VR 장비의 전체 화면 정보에 표시된 윈도우에 문자 표시되고, 도 14에 도시된 바와 같이, 해당 콘솔 장비로부터 확인 신호를 수신하면 해당 윈도우에 표시된 문자가 사라지도록 제어 가능하다. 즉, 문자 정보를 수신한 복수개의 콘솔 장비는, 문자 정보를 확인하면, 문자확인신호(제어정보)를 제어장치(100)로 제공할 수 있다. 제어장치(100)는 영상합성부(170)의 VR 표시 화면 정보에서 해당 문자확인신호를 수신한 콘솔에 해당하는 윈도우에서 문자가 사라지도록 제어 가능하다.

이상에서 설명된 본 발명의 VR을 이용한 잠수함 전투체계 시스템은 일반적인 컴퓨팅 디바이스를 포함하는 컴퓨팅 환경에서 구현된다. 컴퓨팅 환경은 컴퓨팅 디바이스를 포함 가능하다. 컴퓨팅 디바이스는 다른 단말과 신호를 송수신하는 모든 형태의 컴퓨팅 디바이스일 수 있다. 본 발명의 실시예에서는 제어 장치(100)를 컴퓨팅 디바이스로 대체 이용할 수 있고, 제어 장치(100) 내에 수신한 콘솔 화면 영상을 VR 화면 영상으로 변환하는 소프트웨어를 탑재할 수 있다.

컴퓨팅 디바이스는 적어도 하나의 프로세서(또는 제어모듈), 컴퓨터 판독 가능한 저장매체 및 통신버스를 포함한다. 프로세서는 컴퓨팅 디바이스로 하여금 앞서 언급된 실시예에 따라 동작하도록 제어할 수 있다. 프로세서는 컴퓨터 판독 가능한 저장매체에 저장된 하나 이상의 프로그램을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능한 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장매체는 컴퓨터 실행 가능 명령어 내지 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체에 저장된 프로그램은 프로세서에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 디바이스에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스는 프로세서, 컴퓨터 판독 가능한 저장 매체를 포함하여 컴퓨팅 장치의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 디바이스는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스 및 하나 이상의 통신 인터페이스를 포함할 수 있다. 입출력 인터페이스 및 통신 인터페이스는 통신 버스에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스를 통해 컴퓨팅 디바이스의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치는 컴퓨터 디바이스를 구성하는 일 컴포넌트로서 컴퓨팅 디바이스의 내부에 포함될 수도 있고, 컴퓨팅 디바이스와는 구별되는 별개의 장치로 컴퓨팅 디바이스와 연결될 수도 있다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100 : 제어장치, 140 : 콘솔화면수신부, 150 : 음성문자송신부, 160 : 음성수신부, 161 : FFT 변환부, 162 : 특징점 추출부, 163 : 명령정보/영상제어정보 생성부, 170 : 영상합성부, 180 : 영상제어부, 181 : 영상선택정보 생성부, 182 : 이동방향확인부, 190 : VR 송신부, 200 ~ 240 : 콘솔 장비, 250 : 콘솔화면송신부, 260 : 문자수신부, 270 : 문자표시부, 300 : VR 장비, 400 : 헤드 셋

Claims

복수개의 콘솔 장비가 설치된 잠수함 전투체계 시스템에 있어서,
복수개의 콘솔 장비와 네트워크 연결되고, 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 제어장치;
제어장치에서 변환된 VR 화면 정보를 표시하는 VR 장비; 및
음성정보를 입력하고 제어장치로 제공하는 헤드 셋을 포함하고,
제어장치는 헤드 셋을 통해서 입력된 음성정보를 입력하고, 입력된 음성정보가 각 콘솔 장비로 전달해야 하는 명령정보일 때, 문자 정보로 변환해서 각 콘솔 장비로 제공하고, 입력된 음성정보가 VR 장비에 표시를 위한 영상제어정보일 때, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 영상제어정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하고,
제어장치는 VR 장비를 통해서 가속도 정보가 입력되면, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 입력된 가속도 정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 1에 있어서,
제어장치는 헤드 셋을 통해서 입력된 음성정보를 수신하고 각 콘솔 장비로 전달해야 하는 명령정보인지 VR 장비에 표시를 위한 영상제어정보인지를 분석하는 음성수신부;
음성수신부에서 제공하는 명령정보를 문자정보로 변환하고, 복수개의 콘솔 장비로 전송하는 음성문자송신부;
음성수신부에서 제공하는 영상제어정보 또는 VR 장비에서 제공하는 가속도 정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하는 영상제어부를 포함하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 2에 있어서,
음성수신부는 수신한 음성정보를 FFT 변환을 수행하는 FFT 변환부;
FFT 변환된 신호를 CNN을 이용하여 특징점을 추출하는 특징점 추출부;
특징점 추출신호를 이용하여 수신한 음성정보를 분석하고, 명령정보 또는 영상제어정보를 생성하는 생성부를 포함하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 3에 있어서,
영상제어부는 음성수신부에서 제공하는 영상제어정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하기 위한 영상선택정보를 생성하는 생성부를 포함하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 4에 있어서,
영상제어부는 VR 장비에서 제공하는 가속도 정보를 입력하고, 화면이동 방향정보를 생성하는 이동방향확인부를 포함하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 5에 있어서,
제어장치는 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하는 콘솔화면수신부;
콘솔화면수신부에서 수신된 복수개의 콘솔 화면 정보를 윈도우 화면 정보로 전환하여 VR 장비를 이용하여 표시할 수 있도록 구성하고, 영상제어부의 제어하에 VR 장비에 표시될 콘솔 화면 정보를 선택하여 구성하는 영상합성부; 및
영상합성부의 출력신호를 VR 신호로 변환하여 VR 장비로 송신하는 VR 송신부를 포함하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 6에 있어서,
복수개의 콘솔 장비는 각 기능 수행 과정 및 결과에 따른 콘솔 화면을 콘솔화면수신부로 송신하는 콘솔화면송신부;
음성문자송신부에서 송신된 문자정보를 수신하는 문자수신부;
문자수신부에서 수신된 문자정보를 각각의 콘솔 화면에 표시하는 문자표시부를 포함하여 구성되는 VR을 이용한 잠수함 전투체계 시스템.
청구항 7에 있어서,
영상합성부는 초기상태에서 복수개의 콘솔 화면을 각각 윈도우 화면으로 구성하여 VR 장비에 전체 영상 표시를 수행하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 8에 있어서,
영상합성부는 초기상태에서 복수개의 콘솔 화면을 각각 상단과 하단으로 구분 구성하여 VR 장비에 전체 영상 표시를 수행하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 9에 있어서,
영상합성부는 초기상태에서 전체 영상 표시 화면 중, 기설정된 특정 위치의 윈도우 화면을 선택 상태로 표시 제어하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 10에 있어서,
영상합성부는 초기 선택된 윈도우 화면에서 영상제어부의 영상선택정보에 기반해서 다른 윈도우 화면의 선택을 표시 제어하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 11에 있어서,
영상합성부는 영상제어부의 영상선택정보에 기반해서 선택된 윈도우 화면을 VR 장비의 전체 화면으로 표시 제어하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 12에 있어서,
영상합성부는 선택된 윈도우 화면을 VR 장비의 전체 화면으로 표시 제어할 때, VR 장비의 화면 일부에 선택된 해당 콘솔 정보가 문자로 표시 제어되는 VR을 이용한 잠수함 전투체계 시스템.
청구항 13에 있어서,
영상합성부는 VR 장비의 표시 화면의 기설정된 위치에 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 문자로 표시 제어하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 14에 있어서,
영상합성부는 VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 삭제 제어하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 15에 있어서,
영상합성부는 VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보를 헤드 셋을 통해 입력되는 음성정보에 따라서 변경 제어하는 VR을 이용한 잠수함 전투체계 시스템.
청구항 16에 있어서,
VR 장비의 표시 화면의 기설정된 위치에 표시된 복수개의 콘솔 장비로 전달할 명령 정보는 헤드 셋을 통해 입력되는 음성정보에 따라서 음성문자송신부를 통해서 복수개의 콘솔 장비로 문자 전송되는 VR을 이용한 잠수함 전투체계 시스템.
청구항 17에 있어서,
복수개의 콘솔 장비로 문자 전송된 명령 정보는 VR 장비의 전체 화면 정보에 표시된 윈도우에 문자 표시되고, 해당 콘솔 장비로부터 확인 신호를 수신하면 해당 윈도우에 표시된 문자가 사라지는 VR을 이용한 잠수함 전투체계 시스템.
청구항 18에 있어서,
복수개의 콘솔 장비 중 적어도 하나의 콘솔 장비는 소나 연동 및 통제를 위한 것이고, 제어장치에서 전달하는 명령 정보는 해당 콘솔 장비의 표시 화면에 문자로 표시되는 VR을 이용한 잠수함 전투체계 시스템.
복수개의 콘솔 장비가 설치된 잠수함 전투체계 시스템에 있어서,
복수개의 콘솔 장비와 네트워크 연결되고, 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 제어장치;
제어장치에서 변환된 VR 화면 정보를 표시하는 VR 장비; 및
음성정보를 입력하고 제어장치로 제공하는 헤드 셋을 포함하고,
제어장치는 헤드 셋을 통해서 입력된 음성정보를 수신하고 각 콘솔 장비로 전달해야 하는 명령정보인지 VR 장비에 표시를 위한 VR 화면 제어정보인지를 분석하는 음성수신부;
음성수신부에서 제공하는 명령정보를 문자정보로 변환하고, 각각의 콘솔 장비로 전송하는 음성문자송신부;
음성수신부에서 제공하는 VR 화면 제어정보 및(또는) VR 장비에서 제공하는 가속도정보를 기반으로 VR 장비에 표시될 콘솔 화면 정보를 선택하는 영상제어부;
복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하는 콘솔화면수신부;
콘솔화면수신부에서 수신된 복수개의 콘솔 화면 정보를 작은 윈도우 화면 정보로 전환하여 VR 장비를 이용하여 표시할 수 있도록 구성하고, 영상제어부의 제어하여 VR 장비에 표시될 콘솔 화면 정보를 선택하여 구성하는 영상합성부; 및
영상합성부의 출력신호를 VR 신호로 변환하여 VR 장비로 송신하는 VR 송신부를 포함하고,
복수개의 콘솔 장비는 각 기능 수행 과정 및 결과에 따른 콘솔 화면을 콘솔화면수신부로 송신하는 콘솔화면송신부;
음성문자송신부에서 송신된 문자정보를 수신하는 문자수신부;
문자수신부에서 수신된 문자정보를 각각의 콘솔 화면에 표시하는 문자표시부를 포함하여 구성되는 VR을 이용한 잠수함 전투체계 시스템.
청구항 1 내지 청구항 20 중 어느 한 항에 따른 VR을 이용한 잠수함 전투체계 시스템을 사용하여,
제어장치에서 복수개의 콘솔 장비로부터 콘솔 화면 정보를 수신하고, 이를 VR 화면 정보로 변환하는 단계;
제어장치에서 헤드 셋을 통해서 입력된 음성정보를 입력하고, 입력된 음성정보가 각 콘솔 장비로 전달해야 하는 명령정보일 때, 문자 정보로 변환해서 각 콘솔 장비로 제공하는 단계;
제어장치에서 헤드 셋을 통해서 입력된 음성정보가 VR 장비에 표시를 위한 영상제어정보일 때, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 영상제어정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 단계; 및
제어장치에서 VR 장비를 통해서 가속도 정보가 입력되면, 복수개의 콘솔 장비로부터 수신한 콘솔 화면 정보를 입력된 가속도 정보에 기반하여 영상 합성을 수행하여 VR 장비로 전송하는 단계를 포함하는 VR을 이용한 잠수함 전투체계 시스템의 제어 방법.