KR101736660B1 - 스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법 - Google Patents

스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법 Download PDF

Info

Publication number
KR101736660B1
KR101736660B1 KR1020160020762A KR20160020762A KR101736660B1 KR 101736660 B1 KR101736660 B1 KR 101736660B1 KR 1020160020762 A KR1020160020762 A KR 1020160020762A KR 20160020762 A KR20160020762 A KR 20160020762A KR 101736660 B1 KR101736660 B1 KR 101736660B1
Authority
KR
South Korea
Prior art keywords
candidate region
level
parameter
virtual screen
image
Prior art date
Application number
KR1020160020762A
Other languages
English (en)
Inventor
최수미
윤여진
조태훈
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to US15/211,509 priority Critical patent/US10210654B2/en
Application granted granted Critical
Publication of KR101736660B1 publication Critical patent/KR101736660B1/ko

Links

Images

Classifications

    • H04N13/0207—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H04N13/0271—
    • H04N13/0285—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 3D 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법이 개시된다. 내비게이션을 위한 카메라 파라미터 조절 방법은 (a) 내비게이션 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출하는 단계; 및 (b) 가상 스크린의 위치를 상기 후보 영역으로 변경하는 단계를 포함한다.

Description

스테레오 3D 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법{Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof}
본 발명은 스테레오 3D 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법에 관한 것이다.
최근 Oculus rift와 같은 입체 가상 장비들의 발전으로 인해 입체 가시화와 관련한 렌더링 방법들이 많은 주목을 받고 있다. 하지만 인간의 두 양안과 렌더링 되는 좌, 우 두 장면이 일치하지 않는 경우, 두통, 어지러움증, 메스꺼움 등과 같은 시각적 피로가 발생하며, 이를 해결하고자 하는 노력이 다양한 연구 분야에서 이루어지고 있다. 기존의 시각적 피로 해소를 위한 방법은 입체 렌더링 시, 인간이 시각적으로 편안하게 인지하는 렌더링 영역인 비쥬얼 컴포트 존(visual comfort zone)을 정의하고, 이 안에서 장면이 구성되도록 가상 카메라의 간격, 가상 스크린의 깊이를 조절하는 등 가상 카메라의 파라미터를 조절하는 방법이 제시되어 왔다. 하지만 입체 가시화 과정에서 발생하는 시각적 불편함은 카메라 파라미터 이외에도 컬러, 텍스쳐의 방향 등 장면 내 기본적으로 존재하는 다른 요소에 의해 발생하기도 한다. 이러한 문제는 인간의 시각적 인지특성과 결부된 문제이기 때문에 카메라 파라미터의 변경 방법만으로는 해결하기가 어렵다. 인간의 이러한 인지적 특성을 고려하기 위한 기존 기술로는 2차원 영상에서 세일리언시 맵(saliency map)을 추출하고, 이를 기반으로 시각적 집중도가 높은 곳을 단안단시 영역에 위치시키는 방법이나, 헤드 마운트 장비(head mounted display)를 이용하여 시선을 추적하고, 이를 기반으로 시선이 가장 많이 머무는 곳을 단안 단시 영역에 위치시키는 방법이 있다. 본 발명에서는 3차원 가상공간에서 컬러, 텍스쳐에 기반한 저수준 세일리언시와 장면 내 독립적인 물체 정보인 고수준 세일리언시를 고려하여 시각적 집중도가 높은 물체에 대한 정보를 검출한다. 이 방법은 기존의 가상 카메라 파라미터 조절 방법을 기반으로 하면서도 시각적 집중도가 높은 물체가 단안단시에 위치하도록 카메라의 파라미터를 변경하여 기존 방법으로 해결되지 않았던 시각적 불편 요소를 감소시킨다.
본 발명은 세일리언시 기반으로 시각적 집중도가 높은 영역을 검출한 후 가상 스크린을 변경하여 시각적 집중도가 높은 영역을 단안단시에 위치시켜 시각적 피로를 감소시킬 수 있는 스테레오 3D 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법을 제공하기 위한 것이다.
또한, 본 발명은 시각적으로 편안한 렌더링 영역인 비쥬얼 컴포트 존에서 가상 카메라의 파라미터를 조절하여 입체 3D 장면의 입체감과 깊이감을 유지할 수 있는 스테레오 3D 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 세일리언시 기반으로 시각적 집중도가 높은 영역을 검출한 후 가상 스크린을 변경하여 시각적 집중도가 높은 영역을 단안단시에 위치시켜 시각적 피로를 감소시킬 수 있는 스테레오 3D 내비게이션 장치의 세일리언시 기반의 카메라 파라미터 조절 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 내비게이션 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출하는 단계; 및 (b) 가상 스크린의 위치를 상기 후보 영역으로 변경하는 단계를 포함하는 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법이 제공될 수 있다.
상기 (a) 단계는, 상기 내비게이션 장면에 대한 2D 영상을 세일리언시 분석을 통해 시각적 집중도가 조절된 영상을 획득하는 단계; 상기 2D 영상과 상기 획득된 영상간의 차영상을 생성하는 단계; 및 상기 차영상에 침식 연산과 팽창 연산을 수행하여 상기 내비게이션 장면내에서 시각적 집중도가 높은 상기 후보 영역을 추출하는 단계를 포함한다.
상기 조절된 영상을 획득하는 단계는, 상기 2D 영상으로부터 n 레벨 하드웨어 밉맵 영상을 획득하는 단계; 상기 n개의 밉맵 영상의 차연산을 통해 m레벨 중요도 맵(conspicuity map)을 획득하는 단계; 및 상기 m레벨 중요도 맵을 이용하여 m레벨 조절맵을 생성하는 단계를 포함하되, 상기 n, m은 자연수이다.
상기 후보 영역을 추출하는 단계는, 상기 2D 영상에서 초점 영역에 해당하는 부분은 상기 조절 맵을 더하고 나머지 영역은 상기 조절맵을 상기 원본 영상에서 감하여 상기 후보 영역을 추출할 수 있다.
상기 (a) 단계는, 상기 후보 영역에 대해 장면내 컨텍스트를 고려한 고수준 세일리언시 제약을 고려하여 최종 후보 영역을 검출할 수 있다.
상기 장면내 컨텍스트를 고려한 고수준 세일리언시 제약은 상기 장면내의 중요 오브젝트에 대한 정보이다.
상기 (b) 단계는, 상기 후보 영역이 고수준 세일리언시 제약을 고려하였을 때 중요 오브젝트가 아닌 경우, 기설정된 카메라 파라미터를 그대로 적용하여 상기 가상 스크린의 위치를 변경하지 않을 수 있다.
상기 (b) 단계는, 상기 후보 영역이 복수인 경우, 카메라와 가까운 후보 영역을 최종 후보 영역으로 결정하는 단계; 및 상기 최종 후보 영역의 3차원 좌표를 기준으로 카메라 파라미터를 조절하여 상기 가상 스크린의 위치를 변경하는 단계를 포함할 수 있다.
상기 (b) 단계는, 상기 후보 영역으로 상기 가상 스크린 위치를 조절함에 따른 왜곡 방지 파라미터를 계산하는 단계; 및 상기 왜곡 방지 파라미터가 설정값을 넘지 않도록 상기 가상 스크린 위치를 조절하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 세일리언시 기반으로 시각적 집중도가 높은 영역을 검출한 후 가상 스크린을 변경하여 시각적 집중도가 높은 영역을 단안단시에 위치시켜 시각적 피로를 감소시킬 수 있는 3차원 가상 공간 내비게이션 장치가 제공된다.
본 발명의 일 실시예에 따르면, 내비게이션 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출하는 후보 영역 검출부; 및 가상 스크린의 위치를 상기 후보 영역으로 변경하는 파라미터 조절부를 포함하는 스테레오 3D 내비게이션 장치가 제공될 수 있다.
상기 후보 영역 검출부는, 상기 내비게이션 장면에 대한 2D 영상을 세일리언시 분석을 통해 시각적 집중도가 조절된 영상을 획득하고, 상기 2D 영상과 상기 획득된 영상간의 차영상을 생성하며, 상기 생성된 차영상에 침식 연산과 팽창 연산을 수행하여 상기 내비게이션 장면내에서 시각적 집중도가 높은 상기 후보 영역을 추출할 수 있다.
상기 파라미터 조절부는, 상기 후보 영역이 고수준 세일리언시 제약을 고려하였을 때 중요 오브젝트가 아닌 경우, 기설정된 카메라 파라미터를 그대로 적용하여 상기 가상 스크린의 위치를 변경하지 않을 수 있다.
상기 파라미터 조절부는, 상기 후보 영역이 복수인 경우, 카메라와 가까운 후보 영역을 최종 후보 영역으로 결정하고, 상기 최종 후보 영역의 3차원 좌표를 기준으로 카메라 파라미터를 조절하여 상기 가상 스크린의 위치를 변경할 수 있다.
상기 파라미터 조절부는, 상기 후보 영역으로 상기 가상 스크린 위치를 조절함에 따른 왜곡 방지 파라미터를 계산하고, 상기 계산된 왜곡 방지 파라미터가 설정값을 넘지 않도록 상기 가상 스크린 위치를 조절할 수 있다.
본 발명의 일 실시예에 따른 스테레오 3D 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법을 제공함으로써, 세일리언시 기반으로 시각적 집중도가 높은 영역을 검출한 후 가상 스크린을 변경하여 시각적 집중도가 높은 영역을 단안단시에 위치시켜 시각적 피로를 감소시킬 수 있는 이점이 있다.
또한, 본 발명은 시각적으로 편안한 렌더링 영역인 비쥬얼 컴포트 존에서 가상 카메라의 파라미터를 조절하여 입체 3D 장면의 입체감과 깊이감을 유지할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 가상 공간 내비게이션 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 물체의 깊이에 따른 스크린 시차를 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 조절 맵을 원본 영상에 적용한 결과를 나타낸 도면.
도 4는 종래와 본 발명의 일 실시예에 따른 세일리언시 영역을 기준으로 가상 스크린 위치를 변경한 결과를 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 내비게이션 장치의 구성을 나타낸 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 내비게이션 장치에서의 카메라 파라미터 조절 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 물체의 깊이에 따른 스크린 시차를 설명하기 위해 도시한 도면이며, 도 3은 본 발명의 일 실시예에 따른 조절 맵을 원본 영상에 적용한 결과를 나타낸 도면이고, 도 4는 종래와 본 발명의 일 실시예에 따른 세일리언시 영역을 기준으로 가상 스크린 위치를 변경한 결과를 나타낸 도면이다.
단계 110에서 스테레오 3D 내비게이션 장치(100)는 물리 공간 파라미터와 영상을 입력받는다. 여기서, 물리적 파라미터는 사용자 위치, 디스플레이의 사이즈 등일 수 있다.
여기서, 영상은 내비게이션을 위한 각 장면에 대한 2D 영상일 수 있다.
단계 115에서 스테레오 3D 내비게이션 장치(100)는 입력된 물리 공간 파라미터와 가상 공간 파라미터를 일치시킨다.
입체 3D 장면에서는 물체의 깊이에 따라 투영된 스크린에서 시차가 다르게 측정된다. 도 2를 참조하여 이에 대해 간단히 설명하면, 물체가 가상 스크린과 같은 깊이에 있을 때는 왼쪽 영상과 오른쪽 영상이 모노 영상과 같이 완벽하게 동일하지만(도 2의 (a)), 관찰자는 3차원 입체 효과를 느낄 수 없게 된다.
그러나, 도 2의 (b)와 같이, 물체가 가상 공간에서 가상 스크린보다 뒤에 위치하면, 관찰자는 투영된 장면에서 해당 물체가 디스플레이보다 뒤에 있는 것처럼 느끼게 된다.
또한, 도 2의 (c)와 같이, 물체가 가상 공간에서 가상 스크린보다 앞에 위치하면, 관찰자는 투영된 장면에서 음의 시차를 가지며 물체가 디스플레이보다 튀어 나와 있는 것처럼 인지하게 된다.
물리 공간과 가상 공간의 파라미터가 동기화되면, 한쪽 공간에서 조절한 파라미터로 다른 공간의 파라미터를 동일하게 변경할 수 있다.
따라서, 스테레오 3D 내비게이션 장치(100)는 입력된 물리적 파라미터와 가상 공간의 파라미터를 일치시킨다.
예를 들어, 스테레오 3D 내비게이션 장치(100)는 수학식 1을 이용하여 물리적으로 인지되는 관찰 깊이를 획득할 수 있다.
Figure 112016017380831-pat00001
여기서,
Figure 112016017380831-pat00002
는 관찰 깊이를 나타내고,
Figure 112016017380831-pat00003
는 관찰자와 디스플레이 사이의 거리를 나타내며, P는 스크린 시차를 나타내고,
Figure 112016017380831-pat00004
는 인간의 양안 거리를 나타낸다.
본 발명의 일 실시예에서는 양안 거리를 성인의 평균 양안 거리인 6.5로 고정하였다.
스크린 시차(P)는 수학식 2에 의해 계산되는 시차(d)를 이용하여 계산될 수 있다.
Figure 112016017380831-pat00005
여기서,
Figure 112016017380831-pat00006
는 가상 카메라 간격을 나타내고,
Figure 112016017380831-pat00007
는 가상 스크린의 넓이를 나타내며,
Figure 112016017380831-pat00008
는 가상 스크린의 깊이를 나타내고, Z는 물체의 깊이를 나타낸다.
Figure 112016017380831-pat00009
수학식 2에 의해 계산되는 시차(d)는 가상 공간상의 단위를 이용한 시차이다. 스크린 시차(P)를 얻기 위해서는 가상 공간의 시차(d)를 물리 공간으로 변환해야 하는데, 이 과정에서는 범위[-1,1]인 OpenGL의 정규화장치좌표계(NDC)와 물리공간의 디스플레이 넓이를 이용하였다.
가상 공간에서의 시차(d)는 정규화 좌표계에서 단위 길이 2.0인 육면체 형태의 공간상에 나타내기 때문에 간단히 비례식을 이용하면 수학식 3에서 사용되는 물리적 시차(스크린 시차) P를 구할 수 있게 된다.
이에 따라 실제 물리공간과 가상공간의 파라미터를 하나로 통일할 수 있어, 사용자의 위치, 디스플레이 사이즈, 디스플레이와 사용자간의 거리를 고려하여 장면을 조절할 수 있다.
따라서, 수학식 1 및 수학식 2를 이용하면, 가상 공간의 가상 카메라 간격(
Figure 112016017380831-pat00010
)와 가상 스크린 깊이(
Figure 112016017380831-pat00011
)를 조절하여 관찰 깊이(
Figure 112016017380831-pat00012
)를 변경할 수 있으므로 시각적 불편함의 발생 정도를 실시간으로 추적할 수 있다.
따라서, 스테레오 3D 내비게이션 장치(100)는 물리 공간의 파라미터와 가상 공간의 파라미터를 동기화시킬 수 있다.
이어, 단계 120에서 스테레오 3D 내비게이션 장치(100)는 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 영역(이하, 후보 영역이라 칭하기로 함)을 추출한다.
가상 카메라의 파라미터 조절시, 물체가 카메라에 매우 근접해 있는 경우에는 시각적 편안함을 유지하기 위해 가상 스크린의 깊이를 가상 카메라에 근접하게 설정하게 된다. 이 경우 장면을 구성하는 물체들이 모두 가상 스크린의 뒤에 위치하게 되어 관찰자는 깊이감만 인지하고, 입체감을 느낄 수 없게 되어 실세계와 같은 몰입감을 느끼기 어렵게 된다.
따라서, 본 발명의 일 실시예에서는 장면의 입체감을 유지하기 위해 세일리언시 분석을 통해 장면 내에서 시각적 집중도가 높은 영역을 검출한 후, 가상 스크린의 위치를 해당 검출된 시각적 집중도가 높은 영역으로 위치시킬 수 있다.
이하, 세일리언시 분석을 통한 시각적 집중도가 높은 후보 영역을 추출하는 방법에 대해 설명하기로 한다. 여기서, 시각적 집중도는 색상이 도드라지는 부분으로, 예를 들어, 컬러, 텍스쳐 방향 등일 수 있다.
본 발명의 일 실시예에서는 저수준 세일리언시와 고수준 세일리언시를 모두 고려하여 후보 영역을 추출할 수 있다.
즉, 영상에 대해 저수준 세일리언시 분석을 통해 복수의 세일리언시 영역(후보 영역)을 추출한 후 고수준 세일리언시 정보를 이용하여 중요도가 낮은 영역들을 제외시켜 최종 후보 영역을 추출할 수 있다.
이에 대해 보다 상세히 설명하면, 스테레오 3D 내비게이션 장치(100)는 내비게이션 장면에 대한 2D 영상을 입력받고, 2D 영상으로부터 n레벨의 하드웨어 밉맵 영상을 획득한다. 여기서, n은 자연수이다.
이어, 스테레오 3D 내비게이션 장치(100)는 n레벨의 하드웨어 밉맵 영상간의 차연산을 통해 중요도 맵(conspicuity map)을 생성한다. 중요도 맵을 생성함에 있어, 스테레오 3D 내비게이션 장치(100)는 종래의 Veas 등이 제안한 세일리언시 분석 및 조절 방법을 이용할 수 있다. Veas 등이 제안한 세일리언시 분석 및 조절 방법은 영상의 중심-주변 차이(center-surround difference)을 이용하는 방법이다.
스테레오 3D 내비게이션 장치(100)는 a레벨의 밉맵 영상간의 차연산을 통해 k레벨의 중요도 맵을 생성할 수 있다. 여기서, a은 자연수이다.
중요도 맵은 가장 디테일한 레벨로부터 덜 디테일한 레벨로 획득되며, 레벨이 높아질수록 덜 디테일한 레벨의 중요도 맵을 의미한다.
스테레오 3D 내비게이션 장치(100)는 수학식 4를 이용하여 각 레벨의 중요도 맵을 생성할 수 있다.
Figure 112016017380831-pat00013
여기서, k는 중요도 레벨을 나타내고, n과 m은 영상 피라미드의 레벨을 각각 나타낸다. 또한, P는 영상 피라미드의 전체 레벨 수를 나타내며, 본 발명의 일 실시예에서는 6으로 고정하였다.
이와 같이 중요도 맵을 계산한 후, 스테레오 3D 내비게이션 장치(100)는 중요도 맵을 이용하여 저수준 세일리언시 영역(즉, 후보 영역)을 추출하기 위해 조절 맵(modulation map)을 생성한다.
예를 들어, 각 레벨의 중요도 맵은 각 레벨의 중요도 맵에 포함된 차연산 수치에 따라 초점(focus) 영역과 비초점(context) 영역으로 나뉜다.
예를 들어, 각 레벨의 중요도 맵에서 상위 10% 높은 값을 가지는 영역을 초점 영역으로 간주할 수 있다.
예를 들어, 스테레오 3D 내비게이션 장치(100)는 수학식 5를 이용하여 조절 맵을 생성할 수 있다.
Figure 112016017380831-pat00014
여기서,
Figure 112016017380831-pat00015
는 임계값을 나타낸다.
Figure 112016017380831-pat00016
는 중요도 맵의 초점 영역의 수치를 평균화하여 설정될 수 있다.
이와 같이 조절 맵이 생성되면, 스테레오 3D 내비게이션 장치(100)는 내비게이션 장면에 대한 2D 영상(즉, 원본 영상)에 조절 맵을 적용하여 저수준 세일리언시 영역(즉, 후보 영역)을 추출한다.
예를 들어, 스테레오 3D 내비게이션 장치(100)는 내비게이션 장면에 대한 2D 영상(즉, 원본 영상)에서 초점 영역에 해당하는 부분은 조절 맵을 더하고, 그 외의 영역은 원본 영상에서 조절 맵을 차감하여 저수준 세일리언시 영역(즉, 후보 영역)을 추출할 수 있다.
도 3에는 조절 맵을 원본 영상에 적용한 결과를 나타낸 것이다.
m개의 조절 맵이 원본 영상에 적용되는 과정은 이전 레벨의 조절 맵을 원본 영상에 적용한 결과의 현재 레벨의 적용 결과를 반복적으로 평균화한다. 이로 인해, 원본 영상에 조절 맵을 적용한 결과에서 나타날 크로마키 현상(chromachy effect)을 피할 수 있다.
도 3의 가장 하단에 위치한 열에서 어두운 색상으로 나타나는 부분이 장면의 저수준 세일리언시 영역(즉, 후보 영역)들이다.
영상을 기반으로 한 저수준 세일리언시는 텍스처의 패턴이나 컬러, 대비 등 장면 내의 구조에 따라 바닥이나 벽쪽에 초점 영역이 설정되는 경우나 다수의 서로 다른 영역이 세일리언시로 나타내는 경우가 발생한다.
따라서, 문, 조형물과 같은 의미있는 영역을 세일리언시로 설정하기 위해, 오브젝트 버퍼를 이용하여 고수준 세일리언시를 고려할 필요가 있다.
이에, 단계 125에서 스테레오 3D 내비게이션 장치(100)는 오브젝트 정보를 이용하여 추출된 후보 영역 중 최종 후보 영역을 선택한다.
스테레오 3D 내비게이션 장치(100)는 고수준 세일리언시인 가상 공간의 오브젝트 정보를 이용하여 추출된 후보 영역 중에서 중요도가 낮은 후보 영역을 제외하여 최종 후보 영역을 선택할 수 있다.
보다 상세히 설명하면, 스테레오 3D 내비게이션 장치(100)는 추출된 후보 영역의 좌표를 3D 가상 공간에 역투영하여 가상 공간의 3D 좌표를 추출한다. 이어, 스테레오 3D 내비게이션 장치(100)는 추출된 3D 좌표에서 사용되는 오브젝트를 검사하여 해당 후보 영역이 중요도가 높은 객체인지 여부를 검사한다.
스테레오 3D 내비게이션 장치(100)는 오브젝트 버퍼를 이용하여 후보 영역에 상응하는 오브젝트가 천장이나 바닥, 벽과 같은 중요도가 낮은 오브젝트이면 후보 영역에서 제외시킴으로써 중요도가 높은 최종 후보 영역을 선택할 수 있다.
스테레오 3D 내비게이션 장치(100)는 가상 공간에 대한 정보를 오브젝트 단위로 저장하고 있다. 이러한 오브젝트 정보는 장면 내에서 바닥, 벽, 조형물과 같은 오브젝트 식별이 가능하다. 따라서, 스테레오 3D 내비게이션 장치(100)는 오브젝트 버퍼(즉, 오브젝트 정보)를 이용하여 후보 영역들 중 고수준 세일리언시 제약을 고려하여 최종 후보 영역을 선택할 수 있다.
단계 130에서 스테레오 3D 내비게이션 장치(100)는 선택된 최종 후보 영역에 상응하는 오브젝트의 재질이 바닥이나 벽에 사용되는 재질인지를 판단한다.
만일 바닥이나 벽에 사용되는 재질이면, 단계 135에서 스테레오 3D 내비게이션 장치(100)는 해당 최종 후보 영역에 대해 세일리언시가 높은 물체로 카메라 파라미터를 조절할 필요가 없으므로 기존 카메라 파라미터 변경 방법에 따라 시각적으로 편안한 장면을 렌더링한다.
그러나 만일 바닥이나 벽에 사용되는 재질이 아니면, 단계 140에서 스테레오 3D 내비게이션 장치(100)는 최종 후보 영역이 복수인지 여부를 판단한다.
만일 최종 후보 영역이 복수인 경우, 단계 145에서 스테레오 3D 내비게이션 장치(100)는 복수의 후보 영역 중 카메라와 가까운 후보 영역을 최종 후보 영역으로 선택한다.
이어, 단계 150에서 스테레오 3D 내비게이션 장치(100)는 최종 후보 영역의 3D 좌표를 기준으로 가상 스크린의 깊이 및 카메라 파라미터를 조절한다.
이때, 스테레오 3D 내비게이션 장치(100)가 가상 스크린 깊이 및 카메라 파라미터를 조절함에 있어, 관찰 깊이가 조절되므로 시각적 불편함의 발생 빈도를 실시간으로 추적할 수 있다. 가상 카메라 간격(
Figure 112016017380831-pat00017
)과 가상 스크린 깊이(
Figure 112016017380831-pat00018
) 조절에 따라 물체의 깊이 왜곡 현상이 발생한다.
따라서, 스테레오 3D 내비게이션 장치(100)는 가상 카메라 간격과 가상 스크린 깊이 조절에 따른 왜곡 현상 발생에 따른 왜곡 방지 파라미터를 계산한 후 이를 고려하여 가상 카메라 간격과 가상 스크린 깊이를 조절할 수 있다.
예를 들어, 스테레오 3D 내비게이션 장치(100)는 왜곡 방지 파라미터를 수학식 6을 이용하여 계산할 수 있다.
Figure 112016017380831-pat00019
예를 들어, 스테레오 3D 내비게이션 장치(100)는 가상 카메라 간격과 가상 스크린 깊이를 조절함에 있어, 왜곡 방지 파라미터가 1을 넘지 않는 범위 내에서 가상 카메라 간격과 가상 스크린 깊이를 조절할 수 있다.
도 4에는 가상 카메라의 파라미터만을 고려한 경우와 왜곡 방지 파라미터를 고려하여 세일리언시 영역을 기준으로 가상 스크린 위치를 변경한 결과를 나타낸 도면이다.
도 4의 (a)는 가상 카메라의 파라미터만을 고려하여 장면이 렌더링되는 영역이 가상 공간의 일부로 국한되어 깊이감의 왜곡이 발생한 것을 알 수 있다.
그러나, 도 4의 (b)를 참조하면, 왜곡 방지 파라미터를 고려함으로써, 장면에서 오브젝트가 가진 깊이감을 왜곡 없이 유지할 수 있는 것을 알 수 있다.
도 4의 (b)는 모델의 위치가 전반적으로 가상 스크린의 뒤쪽에 위치하는 것을 알 수 있다. 이 경우 세일리언시를 이용하여 도 4의 (c)와 같이 가상 스크린을 변경하면 입체감과 깊이감을 둘 다 제공하면서도 시각적으로 편안한 입체 3D 공간을 렌더링 할 수 있음을 알 수 있다.
도 5는 본 발명의 일 실시예에 따른 스테레오 3D 내비게이션 장치의 구성을 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스테레오 3D 내비게이션 장치(100)는 후보 영역 검출부(510), 파라미터 조절부(515), 메모리(520) 및 프로세서(525)를 포함하여 구성된다.
후보 영역 검출부(510)는 내비게이션 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출하기 위한 수단이다.
후보 영역 검출부(510)는 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출함에 있어 저수준 세일리언시와 고수준 세일리언시를 모두 고려하여 후보 영역을 검출할 수 있다.
이에 대해서는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
파라미터 조절부(515)는 가상 공간상의 파라미터를 조절하기 위한 수단이다.
예를 들어, 파라미터 조절부(515)는 물리 공간에 대한 파라미터가 입력되면, 이를 이용하여 물리 공간 파라미터와 가상 공간의 파라미터를 동기화시킨다.
이어, 파라미터 조절부(515)는 비쥬얼 세일리언시에 기반하여 내비게이션 장면에 대한 후보 영역이 검출되면, 이를 기반으로 가상 공간상의 카메라 파라미터와 가상 스크린의 위치를 조절할 수 있다.
또한, 파라미터 조절부(515)는 가상 공간상의 카메라 파라미터와 가상 스크린의 위치를 조절함에 있어 왜곡 방지 파라미터를 고려하여 카메라 파라미터와 가상 스크린 위치를 조절할 수 있다.
이를 위해, 파라미터 조절부(515)는 가상 카메라 간격과 가상 스크린 깊이를 조절함에 따른 왜곡 방지 파라미터를 계산하고, 왜곡 방지 파라미터가 1을 넘지 않는 범위내에서 가상 카메라 간격과 가상 스크린의 깊이를 조절할 수 있다.
왜곡 방지 파라미터를 계산하는 방법은 이미 전술한 바와 동일하므로 이에 대한 중복되는 설명은 생략하기로 한다.
메모리(520)는 본 발명의 일 실시예에 따른 비쥬얼 세일리언시에 기반한 내비게이션 장면에 대한 시각적 집중도가 높은 영역으로 가상 스크린의 위치를 조절하여 시각적으로 편안하게 내비게이션하기 위한 방법을 수행하기 위해 필요한 어플리케이션, 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.
프로세서(525)는 본 발명의 일 실시예에 따른 스테레오 3D 내비게이션 장치(100)의 내부 구성 요소들(예를 들어, 후보 영역 검출부(510), 파라미터 조절부(515), 메모리(520) 등)을 제어하기 위한 수단이다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 스테레오 3D 내비게이션 장치
510: 후보 영역 검출부
515: 파라미터 조절부
520: 메모리
525: 프로세서

Claims (15)

  1. (a) 내비게이션 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출하는 단계; 및
    (b) 가상 스크린의 위치를 상기 후보 영역으로 변경하는 단계를 포함하되,
    상기 (a) 단계는,
    상기 내비게이션 장면에 대한 2D 영상을 세일리언시 분석을 통해 상기 2D 영상으로부터 n 레벨 하드웨어 밉맵 영상을 획득하고, 상기 n레벨의 밉맵 영상의 차연산을 통해 m레벨 중요도 맵(conspicuity map)을 획득하며, 상기 m레벨 중요도 맵을 이용하여 m레벨 조절맵을 생성하고, 상기 2D 영상에서 초점 영역에 해당하는 부분은 상기 m레벨 조절맵을 더하고 나머지 영역은 상기 m 레벨 조절 맵을 차감하여 상기 후보 영역을 추출하는 것을 특징으로 하는 스테레오 3D 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서, 상기 (a) 단계는,
    상기 후보 영역에 대해 장면내 컨텍스트를 고려한 고수준 세일리언시 제약을 고려하여 최종 후보 영역을 검출하는 것을 특징으로 하는 스테레오 3D 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법.
  6. 제5 항에 있어서,
    상기 장면내 컨텍스트를 고려한 고수준 세일리언시 제약은 상기 장면내의 중요 오브젝트에 대한 정보인 것을 특징으로 하는 스테레오 3D 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법.
  7. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 후보 영역이 고수준 세일리언시 제약을 고려하였을 때 중요 오브젝트가 아닌 경우, 기설정된 카메라 파라미터를 그대로 적용하여 상기 가상 스크린의 위치를 변경하지 않는 것을 특징으로 하는 스테레오 3D 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법.
  8. 제1 항에 있어서, 상기 (b) 단계는,
    상기 후보 영역이 복수인 경우, 카메라와 가까운 후보 영역을 최종 후보 영역으로 결정하는 단계; 및
    상기 최종 후보 영역의 3차원 좌표를 기준으로 카메라 파라미터를 조절하여 상기 가상 스크린의 위치를 변경하는 단계를 포함하는 스테레오 3D 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법.
  9. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 후보 영역으로 상기 가상 스크린 위치를 조절함에 따른 왜곡 방지 파라미터를 계산하는 단계; 및
    상기 왜곡 방지 파라미터가 설정값을 넘지 않도록 상기 가상 스크린 위치를 조절하는 단계를 포함하는 것을 특징으로 하는 스테레오 3D 내비게이션을 위한 세일리언시 기반의 카메라 파라미터 조절 방법.
  10. 제1 항, 제5항 내지 제9 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  11. 내비게이션 장면에 대한 세일리언시 분석을 통해 시각적 집중도가 높은 후보 영역을 검출하는 후보 영역 검출부; 및
    가상 스크린의 위치를 상기 후보 영역으로 변경하는 파라미터 조절부를 포함하되,
    상기 후보 영역 검출부는,
    상기 내비게이션 장면에 대한 2D 영상을 세일리언시 분석을 통해 상기 2D 영상으로부터 n 레벨 하드웨어 밉맵 영상을 획득하고, 상기 n레벨의 밉맵 영상의 차연산을 통해 m레벨 중요도 맵(conspicuity map)을 획득하며, 상기 m레벨 중요도 맵을 이용하여 m레벨 조절맵을 생성하고, 상기 2D 영상에서 초점 영역에 해당하는 부분은 상기 m레벨 조절맵을 더하고 나머지 영역은 상기 m 레벨 조절 맵을 차감하여 상기 후보 영역을 추출하는 것을 특징으로 하는 스테레오 3D 내비게이션 장치.
  12. 삭제
  13. 제11 항에 있어서,
    상기 파라미터 조절부는,
    상기 후보 영역이 고수준 세일리언시 제약을 고려하였을 때 중요 오브젝트가 아닌 경우, 기설정된 카메라 파라미터를 그대로 적용하여 상기 가상 스크린의 위치를 변경하지 않는 것을 특징으로 하는 스테레오 3D 내비게이션 장치.
  14. 제11 항에 있어서,
    상기 파라미터 조절부는,
    상기 후보 영역이 복수인 경우, 카메라와 가까운 후보 영역을 최종 후보 영역으로 결정하고, 상기 최종 후보 영역의 3차원 좌표를 기준으로 카메라 파라미터를 조절하여 상기 가상 스크린의 위치를 변경하는 것을 특징으로 하는 스테레오 3D 내비게이션 장치.
  15. 제11 항에 있어서,
    상기 파라미터 조절부는,
    상기 후보 영역으로 상기 가상 스크린 위치를 조절함에 따른 왜곡 방지 파라미터를 계산하고, 상기 계산된 왜곡 방지 파라미터가 설정값을 넘지 않도록 상기 가상 스크린 위치를 조절하는 것을 특징으로 하는 스테레오 3D 내비게이션 장치.

KR1020160020762A 2016-01-15 2016-02-22 스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법 KR101736660B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/211,509 US10210654B2 (en) 2016-01-15 2016-07-15 Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160005232 2016-01-15
KR1020160005232 2016-01-15

Publications (1)

Publication Number Publication Date
KR101736660B1 true KR101736660B1 (ko) 2017-05-17

Family

ID=59048708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160020762A KR101736660B1 (ko) 2016-01-15 2016-02-22 스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법

Country Status (2)

Country Link
US (1) US10210654B2 (ko)
KR (1) KR101736660B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017131771A1 (en) * 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P. Identify a model that matches a 3d object
GB2553293B (en) * 2016-08-25 2022-06-01 Advanced Risc Mach Ltd Graphics processing systems and graphics processors
GB2566744B (en) * 2017-09-26 2021-03-03 Sony Interactive Entertainment Inc Head-mountable display system
US10699154B2 (en) 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
CN110609616B (zh) * 2019-06-21 2020-04-10 哈尔滨拓博科技有限公司 一种具有智能交互功能的立体投影沙盘系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428384B1 (ko) * 2013-05-01 2014-08-13 세종대학교산학협력단 비정형 건축물 내비게이션 방법 및 그 장치
KR101520293B1 (ko) * 2015-03-05 2015-05-14 주식회사 사라다 시각 집중에 의한 관심객체 검지와 포렌식 영상 획득 스케쥴링 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104025585B (zh) * 2011-11-01 2016-06-01 皇家飞利浦有限公司 基于突出性的视差映射
CN107408119B (zh) * 2015-04-08 2020-11-06 株式会社日立制作所 图像检索装置、系统以及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428384B1 (ko) * 2013-05-01 2014-08-13 세종대학교산학협력단 비정형 건축물 내비게이션 방법 및 그 장치
KR101520293B1 (ko) * 2015-03-05 2015-05-14 주식회사 사라다 시각 집중에 의한 관심객체 검지와 포렌식 영상 획득 스케쥴링 방법 및 시스템

Also Published As

Publication number Publication date
US20170206702A1 (en) 2017-07-20
US10210654B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
KR101736660B1 (ko) 스테레오 3d 내비게이션 장치 및 이를 위한 세일리언시 기반의 카메라 파라미터 조절 방법
US9445075B2 (en) Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
KR101710444B1 (ko) 깊이 맵 생성 장치 및 방법
US11010958B2 (en) Method and system for generating an image of a subject in a scene
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
US7486817B2 (en) Apparatus for and method of generating image, and computer program product
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
US8606043B2 (en) Method and apparatus for generating 3D image data
US9679415B2 (en) Image synthesis method and image synthesis apparatus
KR20100099896A (ko) 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치
KR20100002037A (ko) 영상 처리 방법 및 장치
KR20100040593A (ko) 영상처리 장치 및 방법
KR20180099703A (ko) 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
US20190295280A1 (en) Dynamically modifying virtual and augmented reality content to reduce depth conflict between user interface elements and video content
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
US20180292785A9 (en) Apparatus and method for displaying pseudo-hologram image based on pupil tracking
TW201516960A (zh) 用於產生三維景象之裝置及由電腦執行之產生三維景象之方法
JP5307051B2 (ja) 立体映像調整装置及び調整方法
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
Yoon et al. Saliency-guided stereo camera control for comfortable vr explorations
KR101382595B1 (ko) 입체 영상의 스타일화 방법 및 장치
KR101671739B1 (ko) 가상 프레임을 이용한 2차원 영상의 입체 효과 생성 장치 및 그 방법
KR101978176B1 (ko) 영상 처리 장치 및 방법
KR20140119999A (ko) 깊이값 조정을 통한 입체영상 제공 시스템 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant