KR20200027247A - 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법 - Google Patents

헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR20200027247A
KR20200027247A KR1020180105312A KR20180105312A KR20200027247A KR 20200027247 A KR20200027247 A KR 20200027247A KR 1020180105312 A KR1020180105312 A KR 1020180105312A KR 20180105312 A KR20180105312 A KR 20180105312A KR 20200027247 A KR20200027247 A KR 20200027247A
Authority
KR
South Korea
Prior art keywords
image
user
screen
mode
roi
Prior art date
Application number
KR1020180105312A
Other languages
English (en)
Other versions
KR102122506B1 (ko
Inventor
장혜민
양동원
백인철
최준성
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020180105312A priority Critical patent/KR102122506B1/ko
Publication of KR20200027247A publication Critical patent/KR20200027247A/ko
Application granted granted Critical
Publication of KR102122506B1 publication Critical patent/KR102122506B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일부 실시예에 따르면, 복수의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시하는 단계, 시선감지센서를 이용하여 화면 방향으로의 사용자의 시선을 감지하는 단계, 감지된 사용자의 시선 및 기 설정된 ROI 모드에 기초하여 화면에 표시된 영상의 ROI 영역을 결정하는 단계 및 상기 결정된 ROI 영역에 대한 정보에 기초하여 화면에 표시된 영상에 대한 영상처리를 수행하는 단계를 포함하는, 방법이 개시된다.

Description

헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법{System including helmet and integrated processor, and operating method for the same}
본 개시는 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법에 관한 것이다.
무선통신 기술의 발전과 스마트폰 사용이 보편화됨에 따라, 스마트폰에 탑재된 센서와 컴퓨팅 기술을 활용한 다양한 게임, 엔터테인먼트, 소셜 네트워크 서비스들이 급증하고 있고, 이에 기반한 개인간 영상 및 데이터 공유가 일상화되고 있다. 또한, HMD(Head Mounted Display) 장치, NUI(Natural User Interface) 장치 등의 착용형 장치와 MS Kinect와 Leap Motion 등과 같은 융합 기술 기반의 장치가 상용화됨에 따라 무선환경에서의 착용형 장치 기반의 가상현실 및 증강현실 관련 기술 분야의 발전이 가속화되고 있다.
국방분야에서는 착용형 장치와 애드혹 네트워크 기술을 활용하여 전장상황에서 개인병사의 이동 및 정지 간에 전술정보와 영상이 실시간으로 공유될 수 있도록 하는 미래 병사용 무기체계를 위한 요소 기술 개발이 진행되고 있다. 미래병사체계는 병사의 몸에 첨단 전자통신장비, 센서, 화기, 방호장비 등의 요소를 통합 적용한 개념으로 현재의 병사와 비교할 수 없는 고도의 전투능력을 발휘할 것으로 예상된다. 작전환경에서 개인병사는 통합형 헬멧(예를 들어, HMD 장치), 통합처리기 및 입력 장치로 구성되는 착용형 장치 기반의 시스템을 활용하여 다양한 임무를 수행할 수 있다. 개인병사는 첨단관측장비를 이용하여 적을 탐지하고, 디지털화된 지휘통제 네트워크를 통해 상급부대에 보고하며, 아군이 수집한 전술정보를 공유 받음으로써 작전지역 내 피아상황을 사전에 파악 가능해야 한다.
한편, 이러한 작전환경에서 병사의 피로도 감소 및 임무의 효과적인 달성을 위해서는 병사의 운용성을 향상시킬 수 있는 병사와 착용형 장치 간의 효율적이고 편리한 운용 인터페이스 설계가 중요하다. 기존의 2D 화면 및 터치방식의 인터페이스는 반드시 손 또는 손과 눈을 동시에 사용해야 하므로, 이동상황에서 운용상의 제한이 있다. 따라서, 병사와 착용형 장치 간의 효율적인 인터페이스를 제공함으로써 이동상황에서도 병사의 운용성을 향상시킬 수 있는 기술이 요구된다.
다양한 실시예들은 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법을 제공하는데 있다. 본 개시가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 시스템은, 복수의 CCD/CMOS 센서들, 상기 복수의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시하는 디스플레이 및 상기 디스플레이 방향으로의 사용자의 시선을 감지하는 시선감지센서를 포함하는 헬멧; 및 상기 감지된 사용자의 시선 및 기 설정된 ROI(Region of Interest) 모드에 기초하여 상기 화면에 표시된 영상의 ROI 영역을 결정하고, 상기 결정된 ROI 영역에 대한 정보에 기초하여 상기 화면에 표시된 영상에 대한 영상처리를 수행하는 통합처리기를 포함할 수 있다.
상기 통합처리기는 상기 시선감지센서로부터 상기 사용자의 눈 영역 영상을 획득하고, 상기 획득된 눈 영역 영상에 대해 영상 반전 처리 및 영상 크기 표준화 중 적어도 하나를 포함하는 전처리를 수행하며, 상기 획득된 눈 영역 영상의 모든 픽셀들의 경사도를 계산하고, 상기 계산된 경사도에 기초하여 상기 사용자의 동공 위치를 추정하며, 상기 추정된 동공 위치에 기초하여 상기 사용자의 시선을 추적할 수 있다.
또한, 상기 통합처리기는 상기 감지된 사용자의 시선에 기초하여 상기 사용자가 상기 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시하는지 여부를 판단하고, 상기 사용자가 상기 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 상기 사용자의 시선 방향으로 상기 화면에 표시되는 영상을 전환할 수 있다.
예를 들어, 상기 통합처리기는 상기 복수의 CCD/CMOS 센서들 각각에 의해 획득되는 영상 데이터 단위로 상기 화면에 표시되는 영상을 전환할 수 있다.
상기 기 설정된 ROI 모드는 제1 모드, 제2 모드, 제3 모드 및 제4 모드 중 하나에 대응되고, 상기 제1 모드는 상기 화면에 표시되는 영상에 포함되는 표적을 추적하고, 상기 표적이 포함되는 영역을 상기 ROI 영역으로 결정하는 모드이고, 상기 제2 모드는 상기 감지된 사용자의 시선에 기초하여 상기 화면에 표시되는 영상의 일부 영역을 상기 ROI 영역으로 결정하는 모드이며, 상기 제3 모드는 상기 사용자에 의해 입력된 정보에 기초하여 상기 ROI 영역을 결정하는 모드이고, 상기 제4 모드는 상기 ROI 영역을 설정하지 않는 모드일 수 있다.
상기 시스템은 입력 장치를 더 포함하고, 상기 기 설정된 ROI 모드는 상기 입력 장치를 통한 사용자 입력에 기초하여 결정될 수 있다.
한편, 상기 ROI 영역의 크기는 상기 사용자의 시선을 추적한 결과의 정확도에 기초하여 결정될 수 있다.
상기 통합처리기는 상기 화면에 표시되는 영상에서 상기 ROI 영역에 대해 상기 ROI 영역이 아닌 영역보다 고화질로 영상 압축을 수행할 수 있다.
상기 통합처리기는 상기 결정된 ROI 영역에 대한 정보 및 압축 파라미터에 기초하여 상기 화면에 표시되는 영상에 대한 영상 압축을 수행할 수 있고, 상기 압축 파라미터는 상기 사용자에 의해 입력된 정보에 기초하여 결정되거나 통신망의 상태에 따라 자동으로 결정될 수 있다.
상기 시스템은 무선통신장치를 더 포함하고, 상기 통합처리기는 상기 무선통신장치를 이용하여 상기 영상 압축이 수행된 영상을 다른 단말기로 전송할 수 있다.
또한, 다른 측면에 따른 방법은, 복수의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시하는 단계; 시선감지센서를 이용하여 상기 화면 방향으로의 사용자의 시선을 감지하는 단계; 상기 감지된 사용자의 시선 및 기 설정된 ROI 모드에 기초하여 상기 화면에 표시된 영상의 ROI 영역을 결정하는 단계; 및 상기 결정된 ROI 영역에 대한 정보에 기초하여 상기 화면에 표시된 영상에 대한 영상처리를 수행하는 단계를 포함할 수 있다.
또한, 또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 기록매체를 포함할 수 있다.
본 개시는 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법을 제공할 수 있다. 구체적으로, 본 개시에 따른 시스템 및 동작 방법은 시선감지센서를 활용하여 사용자의 시선을 감지하고, 감지된 사용자의 시선에 기초하여 영상 전환을 수행함으로써 사용자에게 보다 편리한 인터페이스를 제공할 수 있고, 이에 따라, 사용자의 운용 편의성이 증대될 수 있다. 특히, 사용자가 작전환경에서 임무를 수행하는 병사인 경우 본 개시에 따른 시스템은 360도 전방향 영상을 활용하여 사용자가 원하는 방향의 시야를 효율적인 인터페이스를 통해 제공할 수 있으므로, 병사의 피로도를 감소시키고, 병사가 임무를 효과적으로 달성하도록 할 수 있다.
또한, 본 개시에 따른 시스템 및 동작 방법은 타 단말기와 실시간으로 영상을 공유하기 위해 시선추적 기반의 ROI 영상 압축을 수행함으로써 사용자의 관심 영역이 아닌 영역은 저해상도로 처리하되, 사용자의 관심 영역인 ROI 영역의 해상도는 상대적으로 향상시킬 수 있다. 이에 따라, 제한적인 대역폭을 갖는 무선통신 환경에서도 효율적인 영상 송수신이 가능하다.
도 1은 일부 실시예에 따른 헬멧 및 통합처리기를 포함하는 시스템을 도시한 도면이다.
도 2는 일부 실시예에 따른 운용화면의 예시들을 나타내는 도면이다.
도 3 및 도 4a 내지 도 4d는 일부 실시예에 따른 시선추적 기반의 영상 전환을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 일부 실시예에 따른 시선추적 기반의 ROI 영상 압축을 수행하는 과정을 나타내는 개요도이다.
도 6은 일부 실시예에 따른 시선추적 정확도에 따라 크기가 조정되는 ROI 영역의 예시를 나타내는 도면이다.
도 7은 일부 실시예에 따른 시스템의 구성을 나타내는 블록도이다.
도 8은 일부 실시예에 따른 시스템의 동작 방법을 나타내는 흐름도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 하기 설명은 실시예들을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 당해 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일부 실시예에 따른 헬멧 및 통합처리기를 포함하는 시스템을 도시한 도면이다.
도 1을 참조하면, 시스템은 헬멧(10) 및 통합처리기(20)를 포함할 수 있다. 한편, 도 1에 도시된 시스템에는 본 실시예와 관련된 구성들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 시스템에 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들어, 시스템은 입력 장치(미도시) 및 메모리(미도시)를 더 포함할 수 있다.
입력 장치는 사용자가 시스템을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력 장치는 사용자 손목에 장착되는 형태일 수 있고, 텍스트 입력 및 운용화면의 확대/축소와 관련된 입력을 수신할 수 있다. 다만, 이에 제한되는 것은 아니고, 입력 장치는 키 패드(key pad), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등일 수 있다.
메모리는 시스템 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리는 시스템에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리는 시스템에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다.
메모리는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다. 메모리는 헬멧(10) 내부에 배치될 수 있고, 통합처리기(20) 내부에 배치될 수도 있다. 다만, 이에 제한되는 것은 아니다. 예를 들어, 메모리는 시스템에 액세스될 수 있는 외부의 다른 스토리지 디바이스를 포함할 수 있다.
헬멧(10)은 사용자의 머리에 착용 가능한 HMD 디바이스일 수 있다. 헬멧(10)은 복수의 CCD(Charged-Coupled Device)/CMOS(Complementary Metal Oxide Semiconductor) 센서들(110), 디스플레이(120) 및 시선감지센서(130)를 포함할 수 있다. 한편, 도 1에 도시된 헬멧(10)에는 본 실시예와 관련된 구성들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 헬멧(10)에 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들어, 헬멧(10)은 외피 커버, 내피 커버, 통신 안테나, GPS 센서, 마이크, 스피커 등을 더 포함할 수 있다.
복수의 CCD/CMOS 센서들(110) 각각은 CCD 영상 센서 및 CMOS 영상 센서 중 적어도 하나를 포함할 수 있다. 복수의 CCD/CMOS 센서들(110) 각각은 360도 전방향 영상을 생성하기 위해 처리되는 영상 데이터를 획득할 수 있다. 예를 들어, 복수의 CCD/CMOS 센서들(110)은 6개일 수 있고, 복수의 CCD/CMOS 센서들(110) 각각은 60도 이상의 영상각을 가질 수 있다. 복수의 CCD/CMOS 센서들(110)로부터 획득된 6개 영역들에 대한 영상 데이터는 파노라믹 영상 합성 처리를 통해 360도 전방향 영상으로 합성될 수 있다.
디스플레이(120)는 시스템에서 처리되는 정보를 표시하는 장치를 의미할 수 있다. 디스플레이(120)는 헬멧(10)에서 사용자의 얼굴에 대면하는 방향에 배치될 수 있다. 디스플레이(120)는 복수의 CCD/CMOS 센서들(110)로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시할 수 있다. 디스플레이(120)는 사용자의 가시영역을 고려하여 360도 영상 중 적어도 일부를 화면에 표시할 수 있다. 예를 들어, 디스플레이(120)는 360도 영상 중 전방 180도 단위의 영상을 화면에 표시할 수 있다. 전방 180도 단위의 영상은 복수의 CCD/CMOS 센서들(110) 중 3개의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 기초하여 생성될 수 있다.
한편, 디스플레이(120)는 360도 영상 중 적어도 일부를 화면에 표시하는 것 외에 다양한 영상, 사진 등을 표시할 수 있다. 이하 도 2를 참조하여 디스플레이(120)에 의해 화면에 표시되는 운용화면을 보다 상세히 설명한다.
도 2는 일부 실시예에 따른 운용화면의 예시들을 나타내는 도면이다.
도 2를 참조하면, 디스플레이(120)는 지도(210)을 화면에 표시 할 수 있고, 영상(220)을 화면에 표시할 수도 있다. 영상(220)은 복수의 CCD/CMOS 센서들(110)로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부일 수 있고, 다른 단말로부터 생성된 영상일 수도 있다. 한편, 디스플레이(120)는 지도(210) 및 영상(220) 외에도 사용자에게 효율적인 인터페이스를 제공하기 위해 다양한 텍스트, 심볼, 각종 메뉴, 전시 정보 등을 포함하는 UI(User interface)를 화면에 표시할 수 있다. 디스플레이(120)에 의해 화면에 표시될 운용화면들 간의 전환은 입력 장치를 통한 사용자 입력에 의해 수행될 수 있다. 다만, 이에 제한되는 것은 아니고, 통합처리기(20)에 의해 운용화면들 간의 전환이 수행될 수도 있다.
다시 도 1로 돌아와서, 시선감지센서(130)는 사용자의 시선을 감지하는데 필요한 데이터를 획득하는 센서일 수 있다. 예를 들어, 시선감지센서(130)는 사용자의 눈 영역 영상을 획득할 수 있다. 다만, 이에 제한되는 것은 아니고, 시선감지센서(130)는 사용자의 시선을 감지하기 위해 필요한 임의의 적절한 데이터를 획득하는 센서일 수 있다. 일 예에서, 시선감지센서(130)는 IR(Infrared Ray) 센서일 수 있다.
통합처리기(20)는 시스템을 제어하기 위한 전반적인 역할을 할 수 있다. 예를 들어, 통합처리기(20)는 복수의 CCD/CMOS 센서들(110), 디스플레이(120) 및 시선감지센서(130) 각각의 동작을 제어할 수 있다. 또한, 통합처리기(20)는 복수의 CCD/CMOS 센서들(110), 디스플레이(120) 및 시선감지센서(130) 외에 시스템에 포함되는 다양한 구성요소들의 동작을 제어할 수 있다.
통합처리기(20)는 하나 또는 복수 개의 프로세서에 의하여 구현될 수 있다. 예를 들어, 통합처리기(20)는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로 프로세서와 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 한편, 통합처리기(20)는 헬멧(10) 외부에 위치하는 별도의 장치일 수 있다. 이 경우 통합처리기(20)는 헬멧(10)과 유선 또는 무선 통신을 통해 데이터를 송수신할 수 있다. 다만, 이에 제한되는 것은 아니고, 통합처리기(20)는 헬멧(10) 내부에 배치될 수도 있다.
통합처리기(20)는 시선감지센서(130)로부터 획득된 데이터에 기초하여 사용자의 시선을 추적할 수 있다. 통합처리기(20)는 사용자의 시선을 추적하기 앞서, 디스플레이(120)에 의해 표시되는 화면 영역에 대한 캘리브레이션(calibration)을 수행할 수 있다. 예를 들어, 통합처리기(20)는 사용자가 파노라믹 전시화면의 4개의 코너 각각을 응시할 때의 동공 위치를 획득할 수 있다. 화면 영역에 대한 캘리브레이션은 최초 1회 수행 후에 생략될 수 있다.
통합처리기(20)는 시선감지센서(130)로부터 사용자의 눈 영역 영상을 획득할 수 있다. 예를 들어, 통합처리기(20)는 IR 센서로부터 사용자의 눈 영역 영상을 획득할 수 있다. 통합처리기(20)는 필요시 획득된 눈 영역 영상에 대해 영상 반전 처리 및 영상 크기 표준화 중 적어도 하나를 포함하는 전처리를 수행할 수 있다. 영상 크기 표준화는 영상의 크기를 기 정의된 크기로 확대 또는 축소하는 것을 의미할 수 있다.
또한, 통합처리기(20)는 획득된 눈 영역 영상의 모든 픽셀들의 경사도를 계산할 수 있다. 예를 들어, 통합처리기(20)는 모든 픽셀들에 대해 가로 방향 및 세로 방향의 그래디언트(gradient) 벡터를 계산할 수 있다. 통합처리기(20)는 노이즈를 제거하기 위해 계산된 각각의 그래디언트 벡터의 절대값에 대하여 임계값(threshold)을 적용할 수 있다. 또한, 통합처리기(20)는 렌즈 반사 등으로 인한 노이즈를 제거하기 위해 가우시안 스무딩 처리 및 반전 처리 중 적어도 하나를 수행할 수 있다. 노이즈를 제거하기 위한 임계값은 0보다 크고, 방향 벡터 절대 값의 평균과 표준편차를 이용하여 다음과 같은 수학식 1에 따라 결정될 수 있다.
Figure pat00001
수학식 1에서 k는 노이즈 수준에 따라 적절히 결정될 수 있는 크기 팩터일 수 있다. 통합처리기(20)는 계산된 그래디언트 벡터 값들에 기초하여 모든 픽셀들의 경사도를 계산할 수 있다.
통합처리기(20)는 계산된 경사도에 기초하여 사용자의 동공 위치를 추정할 수 있다. 예를 들어, 통합처리기(20)는 다음과 같은 수학식 2에 따라 영상 상의 각 점 x에 대해 그래디언트 벡터 및 동공 중심점으로부터 각 점 x로의 이동벡터 간의 내적 연산이 최대가 되는 동공 위치 c를 추정할 수 있다.
Figure pat00002
수학식 2에서 c는 possible center이고, gi는 영상 상의 모든 점 x에서의 그래디언트 벡터이며, di는 정규화된 c와 x 간의 이동벡터이고, wc는 동공의 중심점 c에서의 피부색 대비 어두운 색상에 대한 가중치를 주기 위해 이용되는 값일 수 있다. 통합처리기(20)는 사용자의 시선을 추적하기 위해 내적 연산을 주로 이용하므로, 통합처리기(20) 내의 DSP(digital signal processor) 최적화를 쉽게 달성할 수 있고, 정해진 해상도 입력에 대한 고정적인 처리시간을 획득하며, 동공 영상의 회전 및 조도 변화에 대해 안정적인 성능을 가질 수 있다.
통합처리기(20)는 추정된 동공 위치에 기초하여 사용자의 시선을 추적할 수 있다. 예를 들어, 통합처리기(20)는 기 정의된 시간 프레임 동안 추정된 동공 위치의 좌표가 오차범위 이내를 유지할 경우, 해당 동공 위치를 사용자의 시선 방향으로 판단함으로써 사용자의 시선을 추적할 수 있다. 통합처리기(20)는 추적된 사용자의 시선에 기초하여 영상 전환을 수행할 수 있다. 이하 도 3 및 도 4a 내지 도 4d를 참조하여 통합처리기(20)가 시선추적 기반의 영상 전환을 수행하는 과정을 상세히 설명한다.
도 3 및 도 4a 내지 도 4d는 일부 실시예에 따른 시선추적 기반의 영상 전환을 수행하는 과정을 설명하기 위한 도면이다.
통합처리기(20)는 감지된 사용자의 시선에 기초하여 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시하는지 여부를 판단하고, 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 사용자의 시선 방향으로 화면에 표시되는 영상을 전환할 수 있다. 예를 들어, 통합처리기(20)는 헬멧(10)에 부착된 시선감지센서(130)를 통해 획득된 데이터에 기초하여 사용자의 동공 위치를 추정하고, 추정된 동공 위치에 기초하여 사용자의 시선 이동방향을 인식할 수 있다.
도 3을 참조하면, 화면(310)에는 360도 영상 중 전방 180도에 대응되는 영상이 표시되고 있다. 화면(310)을 구성하는 제1 영역(310a), 제2 영역(310b) 및 제3 영역(310c) 각각은 대응되는 CCD/CMOS 센서로부터 획득된 영상 데이터에 기초하여 생성된 영상일 수 있다. 예를 들어, 제1 영역(310a), 제2 영역(310b) 및 제3 영역(310c)은 도 4a에 도시된 바와 같이, 6개의 CCD/CMOS 센서들(CCD1 내지 CCD6) 중 CCD/CMOS 센서들(CCD1, CCD2 및 CCD3) 각각으로부터 획득된 영상 데이터에 기초하여 생성된 영상일 수 있다.
통합처리기(20)는 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 화면(310)에 표시되는 영상을 사용자의 시선방향으로 전환하기 위해 제1 영역(310a) 및 제2 영역(310b)을 오른쪽으로 쉬프팅하고, 화면(310)의 왼쪽에 제4 영역(310d)에 대한 영상을 새롭게 합성할 수 있다. 예를 들어, 통합처리기(20)는 도 4b에 도시된 바와 같이, 사용자가 화면 바깥 영역을 기 정의된 시간(예를 들어, TBD초) 동안 응시하는 경우 화면에 표시되는 영상을 CCD/CMOS 센서들(CCD6, CCD1 및 CCD2)로부터 획득된 영상 데이터에 기초하여 생성된 영상으로 전환할 수 있다. 통합처리기(20)는 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 영상을 전환함으로써 사용자의 동공의 일반적인 움직임 범위를 배제시킬 수 있다.
또한, 통합처리기(20)는 사용자가 계속해서 화면(310) 좌측 바깥 영역을 계속해서 바라볼 경우 복수의 CCD/CMOS 센서들(CCD1 내지 CCD6) 각각에 의해 획득되는 영상 데이터 단위로 화면에 표시되는 영상을 전환할 수 있다. 예를 들어, 통합처리기(20)는 도 4c에 도시된 바와 같이, 사용자의 시선방향에 따라 60도 단위로 화면에 표시되는 영상을 전환할 수 있다.
한편, 통합처리기(20)는 도 4d에 도시된 바와 같이, 최초 화면, 예를 들어, 전방 180도에 대응되는 영상으로 영상 전시범위를 초기화할 수 있다. 영상전환 초기화는 입력 장치를 통한 사용자 입력에 의해 수행될 수 있다. 다만, 이에 제한되는 것은 아니다. 예를 들어, 영상전환 초기화는 시선감지센서를 활용한 기 정의된 입력방식을 통해 수행될 수도 있다. 일 예에서, 통합처리기(20)는 사용자가 기 정의된 시간 내에 기 정의된 횟수 이상으로 눈을 깜빡이는 경우 시선감지센서를 이용하여 이를 감지하고, 영상전환 초기화를 수행할 수 있다.
다시 도 1로 돌아와서, 통합처리기(20)는 추적된 사용자의 시선에 기초하여 ROI 영상 압축을 수행할 수 있다. 통합처리기(20)는 감지된 사용자의 시선 및 기 설정된 ROI(Region of Interest) 모드에 기초하여 화면에 표시된 영상의 ROI 영역을 결정하고, 결정된 ROI 영역에 대한 정보에 기초하여 화면에 표시된 영상에 대한 영상처리를 수행할 수 있다. 이하 도 5 및 도 6을 참조하여 통합처리기(20)가 시선추적 기반의 영상 압축을 수행하는 과정을 상세히 설명한다.
도 5는 일부 실시예에 따른 시선추적 기반의 ROI 영상 압축을 수행하는 과정을 나타내는 개요도이다.
통합처리기(20)는 입력 장치를 통한 사용자 입력에 기초하여 복수의 ROI 모드들 중 하나를 결정할 수 있다. 복수의 ROI 모드들은 제1 모드, 제2 모드, 제3 모드 및 제4 모드 중 적어도 하나를 포함할 수 있고, 기 설정된 ROI 모드는 제1 모드, 제2 모드, 제3 모드 및 제4 모드 중 하나에 대응될 수 있다.
제1 모드는 표적 ROI 모드로서, 화면에 표시되는 영상에 포함되는 표적을 추적하고, 표적이 포함되는 영역을 ROI 영역으로 결정하는 모드를 의미할 수 있다. 예를 들어, 기 설정된 ROI 모드가 제1 모드일 때, 통합처리기(20)는 화면에서 표적의 위치를 추적하고, 표적이 포함되는 영역(510)을 ROI 영역으로 결정할 수 있다. 한편, 표적이 2개 이상인 경우, ROI 영역은 표적들 각각에 대해 개별적으로 설정되거나, 모든 표적들을 포함하는 영역으로 설정될 수 있다.
제2 모드는 시선추적 ROI 모드로서, 감지된 사용자의 시선에 기초하여 화면에 표시되는 영상의 일부 영역을 ROI 영역으로 결정하는 모드일 수 있다. 예를 들어, 기 설정된 ROI 모드가 제2 모드일 때, 통합처리기(20)는 사용자의 시선을 감지하고, 3등분된 화면에서 사용자의 시선이 향하는 영역(520)을 ROI 영역으로 결정할 수 있다.
제3 모드는 임의영역 ROI 모드로서, 사용자에 의해 입력된 정보에 기초하여 ROI 영역을 결정하는 모드를 의미할 수 있다. 예를 들어, 기 설정된 ROI 모드가 제3 모드일 때, 통합처리기(20)는 입력 장치를 통한 사용자 입력에 의해 선택된 영역(530)을 ROI 영역으로 결정할 수 있다.
제4 모드는 ROI OFF 모드로서, ROI 영역을 설정하지 않는 모드일 수 있다. 예를 들어, 기 설정된 ROI 모드가 제4 모드일 때, 통합처리기(20)는 ROI 영역을 설정하지 않을 수 있다.
통합처리기(20)는 기 설정된 ROI 모드에 기초하여 ROI 영역을 결정하고, 결정된 ROI 영역을 화면에 표시할 수 있다. 통합처리기(20)는 결정된 ROI 영역에 대한 정보 및 압축 파라미터에 기초하여 화면에 표시되는 영상에 대한 영상 압축을 수행할 수 있다. 압축 파라미터는 사용자에 의해 입력된 정보에 기초하여 결정되거나 통신망의 상태에 따라 자동으로 결정될 수 있다. 일 예에서, 압축 파라미터는 통신망의 상태 정보로서 Bitrate 등을 무선통신장치로부터 수신하고, 수신된 정보를 고려하여 자동으로 설정 또는 갱신될 수 있다. 다른 예에서, 압축 파라미터는 사용자가 선택한 GOP(Group of Picture) 또는 FPS(Frame per second)에 기초하여 결정될 수도 있다.
통합처리기(20)에 포함되는 압축처리기(코덱)은 ROI 영역의 HD급 H.264 방식의 비선형 압축처리를 수행할 수 있고, Scalable Video Coding(SVC) 기술 적용을 통해 다양한 프레임 레이트를 이용할 수 있다. 또한, CVBR 기술이 적용됨에 따라 Bitrate의 최대/최소 범위가 결정되고, Bitrate의 순간적인 변화를 일정 수준에서 허용 가능할 수 있다.
통합처리기(20)는 화면에 표시되는 영상에서 ROI 영역에 대해 ROI 영역이 아닌 영역보다 고화질로 영상 압축을 수행할 수 있다. 이에 따라, 통합처리기(20)가 영상 압축이 수행된 영상을 다른 단말기로 전송함으로써 다른 단말기에서 통합처리기(20)에 의해 압축된 영상이 복원되는 경우 ROI 영역의 영상이 ROI 영역이 아닌 영역보다 선명하게 표시될 수 있다. 통합처리기(20)는 전체 영역에 대해 동일한 압축 처리를 수행하지 않고, ROI 영역에 대해서만 고화질 압축을 수행함으로써 제한적인 대역폭을 갖는 통신환경에서도 관심 영역 여상에 대한 화질을 향상시킬 수 있고, 효율적인 영상 송수신이 가능하다.
한편, ROI 영역의 크기는 사용자의 시선을 추적한 결과의 정확도에 기초하여 결정될 수 있다. 이하 도 6을 참조하여 시선추적 정확도에 따라 크기가 조정되는 ROI 영역을 상세히 설명한다.
도 6은 일부 실시예에 따른 시선추적 정확도에 따라 크기가 조정되는 ROI 영역의 예시를 나타내는 도면이다.
도 6을 참조하면, 시선추적 정확도에 따라 ROI 영역의 크기가 조정됨에 따라 원본 영상(610)이 압축된 결과가 달라지는 과정을 설명하기 위한 다양한 예시들이 도시되어 있다. ROI 영역의 크기는 시선추적 정확도가 상대적으로 높은 경우 작게 설정되고, 시선추적 정확도가 상대적으로 낮은 경우 크게 설정될 수 있다. 다만, 이에 반드시 제한되는 것은 아니다.
일 예에서, 원본 영상(610)의 전체 영역이 최대의 압축율로 압축됨에 따라 압축 영상(620)이 생성될 수 있다. 다른 예에서, ROI 영역의 크기가 화면을 3등분한 영역에 대응될 경우 원본 영상(610)은 3등분된 영역 중 일부 영역(635)에 대해서만 고화질로 압축(작은 압축율로 압축)되고, 나머지 영역에 대해서는 저화질로 압축(높은 압축율로 압축)될 수 있다. 이에 따라, 압축 영상(630)이 생성될 수 있다. 또 다른 예에서, ROI 영역의 크기가 화면을 9등분한 영역에 대응될 경우 원본 영상(610)은 9등분된 영역 중 일부 영역(645)에 대해서만 고화질로 압축될 수 있고, 이에 따라, 압축 영상(640)이 생성될 수 있다.
다시 도 1로 돌아와서, 통합처리기(20)는 사용자 입력에 기초하여 시선추적 기반의 영상 전환을 수행하는 모드로 동작하거나, 시선추적 기반의 ROI 영상 압축을 수행하는 모드로 동작할 수 있다. 이하 도 7을 참조하여 시스템의 보다 상세한 구성을 상세히 설명한다.
도 7은 일부 실시예에 따른 시스템의 구성을 나타내는 블록도이다.
도 7을 참조하면, 도 1에 도시된 시스템의 구성을 보다 상세하게 나타내는 블록도가 도시되어 있다. 시스템은 헬멧(10) 및 통합처리기(20) 외에 무선통신장치(30)를 더 포함할 수 있다. 도 1을 참조하여 설명한 바와 같이, 헬멧(10)은 복수의 CCD/CMOS 센서들(110), 디스플레이(120) 및 시선감지센서(130)를 포함할 수 있고, 통합처리기(20)는 입력영상 보정, 표적탐지/추적, 영상합성 처리, 시선추적 처리, 영상전시 처리, UI 도시처리, 영상 압축, 영상 복원, 무선 통신 처리 등 다양한 동작을 수행할 수 있다. 무선통신장치(30)는 통합처리기(20)에 의해 압축된 영상을 다른 단말로 송신할 수 있고, 다른 단말로부터 생성된 영상을 수신할 수 있다.
통합처리기(20)는 다른 단말로부터 수신된 영상을 복원하기 위해 다른 단말의 영상 ROI 정보 및 다른 단말의 통신환경에 따른 압축 파라미터를 갱신할 수 있다. 통합처리기(20)는 갱신된 ROI 정보 및 압축 파라미터에 기초하여 다른 단말로부터 수신된 영상을 복원할 수 있다. 통합처리기(20)는 그룹 내 연결된 다른 단말의 영상을 화면의 하단에 썸네일 형식으로 표시할 수 있다. 다른 단말의 영상이 사용자에 의해 선택되는 경우 다른 단말의 영상이 전체화면으로 확대될 수 있다. 이 때, 다른 단말에서 ROI 영역으로 설정한 영역은 ROI 영역이 아닌 영역보다 선명하게 표시될 수 있다.
도 8은 일부 실시예에 따른 시스템의 동작 방법을 나타내는 흐름도이다.
도 8을 참조하면, 시스템의 동작 방법은 도 1 및 도 7에 도시된 시스템에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라고 하더라도 시스템에 관하여 위에서 도 1 내지 도 7을 참조하여 서술된 내용은 도 8의 시스템의 동작 방법에도 적용됨을 알 수 있다.
단계 810에서, 시스템은 복수의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시할 수 있다.
단계 820에서, 시스템은 시선감지센서를 이용하여 화면 방향으로의 사용자의 시선을 감지할 수 있다. 시스템은 시선감지센서로부터 사용자의 눈 영역 영상을 획득하고, 획득된 눈 영역 영상에 대해 영상 반전 처리 및 영상 크기 표준화 중 적어도 하나를 포함하는 전처리를 수행하며, 획득된 눈 영역 영상의 모든 픽셀들의 경사도를 계산하고, 계산된 경사도에 기초하여 사용자의 동공 위치를 추정하며, 추정된 동공 위치에 기초하여 사용자의 시선을 추적할 수 있다.
또한, 시스템은 감지된 사용자의 시선에 기초하여 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시하는지 여부를 판단하고, 사용자가 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 사용자의 시선 방향으로 화면에 표시되는 영상을 전환할 수 있다. 시스템은 복수의 CCD/CMOS 센서들 각각에 의해 획득되는 영상 데이터 단위로 화면에 표시되는 영상을 전환할 수 있다.
단계 830에서, 시스템은 감지된 사용자의 시선 및 기 설정된 ROI 모드에 기초하여 화면에 표시된 영상의 ROI 영역을 결정할 수 있다. 기 설정된 ROI 모드는 제1 모드, 제2 모드, 제3 모드 및 제4 모드 중 하나에 대응될 수 있다. 제1 모드는 화면에 표시되는 영상에 포함되는 표적을 추적하고, 표적이 포함되는 영역을 ROI 영역으로 결정하는 모드이고, 제2 모드는 감지된 사용자의 시선에 기초하여 화면에 표시되는 영상의 일부 영역을 ROI 영역으로 결정하는 모드이며, 제3 모드는 사용자에 의해 입력된 정보에 기초하여 ROI 영역을 결정하는 모드이고, 제4 모드는 ROI 영역을 설정하지 않는 모드일 수 있다. 기 설정된 ROI 모드는 입력 장치를 통한 사용자 입력에 기초하여 결정될 수 있다. 한편, ROI 영역의 크기는 사용자의 시선을 추적한 결과의 정확도에 기초하여 결정될 수 있다.
단계 840에서, 시스템은 결정된 ROI 영역에 대한 정보에 기초하여 화면에 표시된 영상에 대한 영상처리를 수행할 수 있다. 시스템은 화면에 표시되는 영상에서 ROI 영역에 대해 ROI 영역이 아닌 영역보다 고화질로 영상 압축을 수행할 수 있다. 시스템은 결정된 ROI 영역에 대한 정보 및 압축 파라미터에 기초하여 화면에 표시되는 영상에 대한 영상 압축을 수행할 수 있다. 압축 파라미터는 사용자에 의해 입력된 정보에 기초하여 결정되거나 통신망의 상태에 따라 자동으로 결정될 수 있다.
시스템은 무선통신장치를 이용하여 영상 압축이 수행된 영상을 다른 단말기로 전송할 수 있고, 다른 단말로부터 생성된 영상을 수신할 수도 있다.
한편, 전술한 시스템의 동작 방법은 그 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다. 컴퓨터로 읽을 수 있는 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (12)

  1. 복수의 CCD/CMOS 센서들, 상기 복수의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시하는 디스플레이 및 상기 디스플레이 방향으로의 사용자의 시선을 감지하는 시선감지센서를 포함하는 헬멧; 및
    상기 감지된 사용자의 시선 및 기 설정된 ROI(Region of Interest) 모드에 기초하여 상기 화면에 표시된 영상의 ROI 영역을 결정하고, 상기 결정된 ROI 영역에 대한 정보에 기초하여 상기 화면에 표시된 영상에 대한 영상처리를 수행하는 통합처리기를 포함하는, 시스템.
  2. 제 1항에 있어서,
    상기 통합처리기는 상기 시선감지센서로부터 상기 사용자의 눈 영역 영상을 획득하고, 상기 획득된 눈 영역 영상에 대해 영상 반전 처리 및 영상 크기 표준화 중 적어도 하나를 포함하는 전처리를 수행하며, 상기 획득된 눈 영역 영상의 모든 픽셀들의 경사도를 계산하고, 상기 계산된 경사도에 기초하여 상기 사용자의 동공 위치를 추정하며, 상기 추정된 동공 위치에 기초하여 상기 사용자의 시선을 추적하는, 시스템.
  3. 제 1항에 있어서,
    상기 통합처리기는 상기 감지된 사용자의 시선에 기초하여 상기 사용자가 상기 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시하는지 여부를 판단하고, 상기 사용자가 상기 화면의 모서리 바깥의 영역을 기 정의된 시간 동안 응시한다고 판단되는 경우 상기 사용자의 시선 방향으로 상기 화면에 표시되는 영상을 전환하는, 시스템.
  4. 제 3항에 있어서,
    상기 통합처리기는 상기 복수의 CCD/CMOS 센서들 각각에 의해 획득되는 영상 데이터 단위로 상기 화면에 표시되는 영상을 전환하는, 시스템.
  5. 제 1항에 있어서,
    상기 기 설정된 ROI 모드는 제1 모드, 제2 모드, 제3 모드 및 제4 모드 중 하나에 대응되고,
    상기 제1 모드는 상기 화면에 표시되는 영상에 포함되는 표적을 추적하고, 상기 표적이 포함되는 영역을 상기 ROI 영역으로 결정하는 모드이고,
    상기 제2 모드는 상기 감지된 사용자의 시선에 기초하여 상기 화면에 표시되는 영상의 일부 영역을 상기 ROI 영역으로 결정하는 모드이며,
    상기 제3 모드는 상기 사용자에 의해 입력된 정보에 기초하여 상기 ROI 영역을 결정하는 모드이고,
    상기 제4 모드는 상기 ROI 영역을 설정하지 않는 모드인, 시스템.
  6. 제 1항에 있어서,
    상기 시스템은 입력 장치를 더 포함하고,
    상기 기 설정된 ROI 모드는 상기 입력 장치를 통한 사용자 입력에 기초하여 결정되는, 시스템.
  7. 제 2항에 있어서,
    상기 ROI 영역의 크기는 상기 사용자의 시선을 추적한 결과의 정확도에 기초하여 결정되는, 시스템.
  8. 제 1항에 있어서,
    상기 통합처리기는 상기 화면에 표시되는 영상에서 상기 ROI 영역에 대해 상기 ROI 영역이 아닌 영역보다 고화질로 영상 압축을 수행하는, 시스템.
  9. 제 1항에 있어서,
    상기 통합처리기는 상기 결정된 ROI 영역에 대한 정보 및 압축 파라미터에 기초하여 상기 화면에 표시되는 영상에 대한 영상 압축을 수행하고,
    상기 압축 파라미터는 상기 사용자에 의해 입력된 정보에 기초하여 결정되거나 통신망의 상태에 따라 자동으로 결정되는, 시스템.
  10. 제 8항 또는 제9항에 있어서,
    상기 시스템은 무선통신장치를 더 포함하고,
    상기 통합처리기는 상기 무선통신장치를 이용하여 상기 영상 압축이 수행된 영상을 다른 단말기로 전송하는, 시스템.
  11. 복수의 CCD/CMOS 센서들로부터 획득된 영상 데이터에 대한 영상합성처리를 통해 생성된 360도 영상 중 적어도 일부를 화면에 표시하는 단계;
    시선감지센서를 이용하여 상기 화면 방향으로의 사용자의 시선을 감지하는 단계;
    상기 감지된 사용자의 시선 및 기 설정된 ROI 모드에 기초하여 상기 화면에 표시된 영상의 ROI 영역을 결정하는 단계; 및
    상기 결정된 ROI 영역에 대한 정보에 기초하여 상기 화면에 표시된 영상에 대한 영상처리를 수행하는 단계를 포함하는, 방법.
  12. 제 11항의 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020180105312A 2018-09-04 2018-09-04 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법 KR102122506B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180105312A KR102122506B1 (ko) 2018-09-04 2018-09-04 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180105312A KR102122506B1 (ko) 2018-09-04 2018-09-04 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20200027247A true KR20200027247A (ko) 2020-03-12
KR102122506B1 KR102122506B1 (ko) 2020-06-12

Family

ID=69803291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180105312A KR102122506B1 (ko) 2018-09-04 2018-09-04 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102122506B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625583B1 (ko) * 2021-04-29 2024-01-16 숭실대학교 산학협력단 Vr 공간에 대한 시지각 분석 시스템, 시지각 분석 방법 및 시지각 분석 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005500630A (ja) * 2001-08-15 2005-01-06 キネテイツク・リミテツド 視標追跡システム
KR20070040246A (ko) * 2005-10-11 2007-04-16 엘지전자 주식회사 영상촬영 장치 및 방법
JP2011197736A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 視界支援装置
KR20130107981A (ko) * 2012-03-23 2013-10-02 경북대학교 산학협력단 시선 추적 장치 및 방법
KR101540113B1 (ko) * 2014-06-18 2015-07-30 재단법인 실감교류인체감응솔루션연구단 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101748563B1 (ko) * 2016-09-26 2017-06-20 유비씨엔(주) 양안기반 시선추적 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005500630A (ja) * 2001-08-15 2005-01-06 キネテイツク・リミテツド 視標追跡システム
KR20070040246A (ko) * 2005-10-11 2007-04-16 엘지전자 주식회사 영상촬영 장치 및 방법
JP2011197736A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 視界支援装置
KR20130107981A (ko) * 2012-03-23 2013-10-02 경북대학교 산학협력단 시선 추적 장치 및 방법
KR101540113B1 (ko) * 2014-06-18 2015-07-30 재단법인 실감교류인체감응솔루션연구단 실감 영상을 위한 영상 데이터를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101748563B1 (ko) * 2016-09-26 2017-06-20 유비씨엔(주) 양안기반 시선추적 방법

Also Published As

Publication number Publication date
KR102122506B1 (ko) 2020-06-12

Similar Documents

Publication Publication Date Title
US11816820B2 (en) Gaze direction-based adaptive pre-filtering of video data
CN110058694B (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
KR101950641B1 (ko) 향상된 안구 추적을 위한 장면 분석
JP6228320B2 (ja) 制約なしｓｌａｍ用のセンサベースのカメラ運動検出
US10832448B2 (en) Display control device, display control method, and program
KR20180073327A (ko) 영상 표시 방법, 저장 매체 및 전자 장치
CN108810538B (zh) 视频编码方法、装置、终端及存储介质
KR102499139B1 (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
KR20190141768A (ko) 부드럽게 변화하는 포비티드 렌더링
WO2016157677A1 (ja) 情報処理装置、情報処理方法及びプログラム
US9965830B2 (en) Image processing apparatus, image processing method, and program
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US20170345165A1 (en) Correcting Short Term Three-Dimensional Tracking Results
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20210067864A (ko) 적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성
KR102122506B1 (ko) 헬멧 및 통합처리기를 포함하는 시스템 및 그 동작 방법
US9251559B2 (en) Image generation device, camera device, image display device, and image generation method
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
EP3702008A1 (en) Displaying a viewport of a virtual space
US20230069407A1 (en) Remote operation apparatus and computer-readable medium
JP7156301B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20170161933A1 (en) Mobile virtual reality (vr) operation method, system and storage media
KR20180012992A (ko) 영상을 처리하는 방법, 디바이스 및 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant