KR20180070571A - 이미지 시각화를 생성하기 위한 시스템들 및 방법들 - Google Patents

이미지 시각화를 생성하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20180070571A
KR20180070571A KR1020187010040A KR20187010040A KR20180070571A KR 20180070571 A KR20180070571 A KR 20180070571A KR 1020187010040 A KR1020187010040 A KR 1020187010040A KR 20187010040 A KR20187010040 A KR 20187010040A KR 20180070571 A KR20180070571 A KR 20180070571A
Authority
KR
South Korea
Prior art keywords
depth information
image
depth
synthesized image
electronic device
Prior art date
Application number
KR1020187010040A
Other languages
English (en)
Inventor
펑 궈
닝 비
비잔 포루탄푸어
타오 장
지안펑 렌
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180070571A publication Critical patent/KR20180070571A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 디바이스에 의해 수행된 방법이 설명된다. 방법은 합성된 이미지를 획득하는 단계를 포함한다. 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함한다. 방법은 또한, 심도 정보를 획득하는 단계를 포함한다. 심도 정보는 심도 센서와 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초한다. 방법은 심도 정보에 기초하여 합성된 이미지 시각화를 조절하는 단계를 더 포함한다.

Description

이미지 시각화를 생성하기 위한 시스템들 및 방법들
본 개시물은 일반적으로 전자 디바이스들에 관한 것이다. 더 구체적으로, 본 개시물은 이미지 시각화를 생성하기 위한 시스템들 및 방법들에 관한 것이다.
일부 전자 디바이스들 (예컨대, 카메라들, 비디오 캠코더들, 디지털 카메라들, 셀룰러 전화들, 스마트폰들, 컴퓨터들, 텔레비전들, 자동차들, 개인용 카메라들, 웨어러블 카메라들, 가상 현실 디바이스들 (예컨대, 헤드셋들), 증강 현실 디바이스들 (예컨대, 헤드셋들), 혼합 현실 디바이스들 (예컨대, 헤드셋들), 액션 카메라들, 감시 카메라들, 장착된 카메라들, 접속된 카메라들, 로봇들, 드론들, 스마트 기기들, 건강관리 장비, 셋톱 박스들 등) 은 이미지들을 캡처하고 및/또는 사용한다. 예를 들어, 스마트폰은 스틸 (still) 및/또는 비디오 이미지들을 캡처할 수도 있고 및/또는 프로세싱할 수도 있다. 이미지들은 프로세싱될 수도 있고, 디스플레이될 수도 있고, 저장될 수도 있고, 및/또는 송신될 수도 있다. 이미지들은 예를 들어, 풍경 및/또는 객체들을 포함하는 장면을 묘사 (portray) 할 수도 있다.
일부 경우들에는, 이미지들이 왜곡될 수도 있다. 예를 들어, 이미지들은 이미지에서의 풍경 및/또는 객체들을 왜곡시키는 방법으로 묘사될 수도 있다. 왜곡들은 광학 렌즈들이 채용될 때와 같은 일부 시나리오들에서 특히 현저할 수도 있다. 이 논의로부터 관찰될 수 있는 바와 같이, 이미지 왜곡을 감소시키는 시스템들 및 방법들이 유익할 수도 있다.
전자 디바이스에 의해 수행된 방법이 설명된다. 방법은 합성된 이미지를 획득하는 단계를 포함한다. 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함한다. 방법은 또한, 심도 정보를 획득하는 단계를 포함한다. 심도 정보는 심도 센서와 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초한다. 방법은 심도 정보에 기초하여 합성된 이미지 시각화를 조절하는 단계를 더 포함한다.
합성된 이미지 시각화를 조절하는 단계는 심도 정보에 기초하여 렌더링 기하구조 (rendering geomerty) 를 조절하는 단계를 포함할 수도 있다. 심도 정보는 동적일 수도 있다. 합성된 이미지 시각화를 조절하는 단계는 적어도 하나의 객체가 렌더링 기하구조의 수직 부분 상에서 렌더링되도록, 렌더링 기하구조를 조절하는 단계를 포함할 수도 있다.
방법은 적어도 하나의 모델을 이미지 시각화의 3 차원 공간으로 삽입하는 단계를 포함할 수도 있다. 모델은 적어도 하나의 객체에 대응한다.
심도 정보는 심도 센서와 가장 근접한 객체 사이의 거리를 표시할 수도 있다. 적어도 하나의 객체는 다수의 객체들을 포함할 수도 있다. 심도 정보는 심도 센서와 복수의 객체들 사이의 평균 객체 거리를 표시할 수도 있다.
방법은 객체 검출에 기초하여 관심 영역을 식별하는 단계를 포함할 수도 있다. 방법은 또한, 관심 영역에 기초하여 합성된 이미지 시각화의 적어도 부분을 주밍 (zooming) 하는 단계를 포함할 수도 있다.
합성된 이미지 시각화를 조절하는 단계는 관점 왜곡을 감소시키는 단계를 포함할 수도 있다. 합성된 이미지 시각화는 서라운드 뷰일 수도 있다.
전자 디바이스가 또한 설명된다. 전자 디바이스는 합성된 이미지를 획득하도록 구성된 프로세서를 포함한다. 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함한다. 프로세서는 또한, 심도 정보를 획득하도록 구성된다. 심도 정보는 심도 센서와 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초한다. 프로세서는 심도 정보에 기초하여 합성된 이미지 시각화를 조절하도록 추가로 구성된다.
장치가 또한 설명된다. 장치는 합성된 이미지를 획득하기 위한 수단을 포함한다. 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함한다. 장치는 또한, 심도 정보를 획득하기 위한 수단을 포함한다. 심도 정보는 심도 센서와 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초한다. 장치는 심도 정보에 기초하여 합성된 이미지 시각화를 조절하기 위한 수단을 더 포함한다.
컴퓨터 프로그램 제품이 또한 설명된다. 컴퓨터 프로그램 제품은 명령들을 갖는 비일시적 유형의 컴퓨터-판독가능 매체 (non-transitory tangible computer-readable medium) 를 포함한다. 명령들은 전자 디바이스로 하여금, 합성된 이미지를 획득하게 하기 위한 코드를 포함한다. 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함한다. 명령들은 또한, 전자 디바이스로 하여금, 심도 정보를 획득하게 하기 위한 코드를 포함한다. 심도 정보는 심도 센서와 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초한다. 명령들은 전자 디바이스로 하여금, 심도 정보에 기초하여 합성된 이미지 시각화를 조절하게 하기 위한 코드를 더 포함한다.
도 1 은 상부 평면도 또는 조감도 이미지 시각화의 하나의 예를 예시하는 도면이고;
도 2 는 서라운드 뷰 (surround view) 이미지 시각화의 하나의 예를 예시하는 도면이고;
도 3 은 이미지 시각화를 생성하기 위한 시스템들 및 방법들이 구현될 수도 있는 전자 디바이스의 하나의 예를 예시하는 블록도이고;
도 4 는 이미지 시각화를 생성하기 위한 방법의 하나의 구성을 예시하는 흐름도이고;
도 5 는 본원에서 개시된 시스템들 및 방법들에 따라 구현될 수도 있는 엘리먼트들의 더 특정 예들을 예시하는 도면이고;
도 6 은 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화의 하나의 예를 예시하고;
도 7 은 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화의 또 다른 예를 예시하고;
도 8 은 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화의 또 다른 예를 예시하고;
도 9 는 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화의 또 다른 예를 예시하고;
도 10 은 이미지 시각화를 생성하기 위한 방법의 더 특정 구성을 예시하는 흐름도이고; 그리고
도 11 은 본원에서 개시된 시스템들 및 방법들의 다양한 구성들을 구현하도록 구성된 전자 디바이스 내에 포함될 수도 있는 어떤 컴포넌트들을 예시한다.
본원에서 개시된 시스템들 및 방법들은 이미지 시각화를 생성하기 위한 접근법들을 제공한다. 이미지 시각화는 이미지의 렌더링 및/또는 제시일 수도 있다. 일부 이미지 시각화들은 차원성 (dimensionality) (예컨대, 높이, 심도 등) 을 표현하는 것에 실패할 수도 있거나, 이미지들이 왜곡되게 및/또는 부자연스럽게 보이게 할 수도 있다. 예를 들어, 3 차원 (3D) 장면의 간단한 2 차원 (2D) 렌더링은 장면의 차원성 (예컨대, 높이, 심도 등) 의 외관을 감소시킬 수도 있거나 파괴할 수도 있다. 예를 들어, 도시의 2D 위성 이미지는 높은 건물들이 평탄하게 보이게 할 수도 있다. 이것은 그것들이 더 근접한 관점으로부터 3D 로 보일 때에 건물들의 높이의 감각을 제거한다. 다른 왜곡들이 발생할 수도 있다. 따라서, 왜곡된 렌더링 관점을 갖는 이미지는 덜 유용할 수도 있고 및/또는 덜 바람직할 수도 있다.
본원에서 개시된 시스템들 및 방법들은 하나 이상의 이미지들의 외관을 개선시킬 수도 있는 이미지 시각화를 생성할 수도 있다. 예를 들어, 본원에서 개시된 시스템들 및 방법들은 렌더링 및/또는 관점 왜곡의 외관을 감소시킬 수도 있다. 추가적으로 또는 대안적으로, 본원에서 개시된 시스템들 및 방법들은 하나 이상의 이미지들의 심도의 외관을 개선시킬 수도 있다. 예를 들어, 하나 이상의 이미지들 (예컨대, 합성된 이미지) 은 더 큰 차원성 (예컨대, 높이, 심도 등) 을 이미지 (들) 에 대여하기 위한 그러한 방법으로 렌더링될 수도 있고 및/또는 제시될 수도 있다. 이미지 시각화는 심도 정보에 기초하여 조절될 수도 있다.
도 1 은 상부 평면도 또는 조감도 이미지 시각화 (102) 의 하나의 예를 예시하는 도면이다. 디스플레이 시스템은 이미지 시각화를 도시하도록 구현될 수도 있다. 디스플레이 시스템들의 예들은 하나 이상의 디스플레이들, 헤드-장착형 디스플레이 (head-mounted display; HMD) 들, 핸드헬드 디스플레이들 (예컨대, 스마트폰들, 태블릿 디바이스들 등), 차량들에서의 통합된 콘솔 디스플레이들 등을 포함할 수도 있다. 자동차에서의 일부 디스플레이 시스템들은 2 차원 (2D) 조감도 이미지 시각화 (102) 를 묘사할 수도 있다. 일부 구성들에서, 디스플레이 시스템은 진보된 운전자 보조 시스템 (advanced driver assistant system; ADAS) 일 수도 있거나, 그것에 결합될 수도 있거나, 그것의 일부일 수도 있다. 도 1 에서 도시된 예에서, 차량 (106) 은 4 개의 카메라들을 포함한다. 전방 카메라는 전진방향 장면 (104a) 을 캡처하고, 우측 측부 카메라는 우측 장면 (104b) 을 캡처하고, 후방 카메라는 후방 장면 (104c) 을 캡처하고, 좌측 측부 카메라는 좌측 장면 (104d) 을 캡처한다. 장면들 (104a 내지 104d) 의 이미지들은 2D 조감도 이미지 시각화 (102) 를 형성하기 위하여 합성될 수도 있다. 관찰될 수 있는 바와 같이, 조감도 이미지 시각화 (102) 는 차량 (106) 주위의 에어리어 (area) 상에서 초점을 맞춘다. 차량 (106) 은 이미지 시각화에서의 실제적인 차량 (106) 의 모델 또는 표현으로서 도시될 수도 있다는 것이 주목되어야 한다.
조감도 이미지 시각화 (102) 의 하나의 단점은, 일부 객체들이 평탄하게 또는 왜곡되게 보일 수도 있고 높이 또는 심도의 감각을 결여할 수도 있다는 것이다. 예를 들어, 장벽들 (108) 의 그룹, 사람 (110), 및 나무 (112) 가 평탄하게 보일 수도 있다. 운전자가 조감도 시각화 (102) 를 보고 있는 시나리오에서는, 운전자가 하나 이상의 객체들의 높이를 알아차리지 못할 수도 있다. 이것은 심지어, 조감도 시각화 (102) 가 높이의 묘사를 결여하므로, 운전자가 차량 (106) 을 객체 (예컨대, 장벽 (108)) 과 충돌하게 할 수 있다.
도 2 는 서라운드 뷰 이미지 시각화 (202) 의 하나의 예를 예시하는 도면이다. (예를 들어, ADAS 에서의) 디스플레이 시스템에 대하여, 2D 조감도 이미지 시각화의 확장은 서라운드 뷰 이미지 시각화 (202) 일 수도 있다. 다수의 카메라들로부터의 이미지들은 합성된 이미지를 생성하기 위하여 합성될 수도 있다. 이 예에서, 합성된 이미지는 서라운드 뷰 이미지 시각화 (202) 를 생성하기 위하여 보울 (bowl) 의 형상에서의 렌더링 기하구조 (220) 에 따르게 된다. 관찰될 수 있는 바와 같이, 서라운드 뷰 이미지 시각화 (202) 는 차량 (206) (예컨대, 차량 모델, 표현 등) 주위의 지면을 평평하게 보이게 하는 반면, 이미지에서의 다른 객체들은 높이의 감각을 가진다. 예를 들어, 주택 (216), 또 다른 차량 (214), 및 소화전 (218) 각각은 서라운드 뷰 이미지 시각화 (202) 에서 높이 (예컨대, 3 개의 차원들, 높이, 심도) 를 가지는 것으로 보인다. 차량 (206) 은 이미지 시각화에서의 실제적인 차량 (206) 의 모델 또는 표현으로서 도시될 수도 있다는 것이 주목되어야 한다.
또한, 서라운드 뷰 이미지 시각화 (202) 는 일부 경우들에는 렌더링 기하구조 (220) 의 형상에 기초하여 하나 이상의 객체들을 왜곡시킬 수도 있다는 것이 주목되어야 한다. 예를 들어, 도 2 에서의 렌더링 기하구조 (220) 의 보울 형상의 "하부" 가 더 컸을 경우, 다른 차량 (214) 은 평탄해지게 보였을 수도 있다. 그러나, 렌더링 기하구조 (220) 의 보울 형상의 "측부들" 이 더 컸을 경우, 차량 (206) 주위의 지면은 차량 (206)이 구덩이의 하부에 있던 것처럼, 뒤집힌 것으로 보였을 수도 있다. 따라서, 렌더링 기하구조 (220) 의 적절한 형상은 장면에 기초하여 변동될 수도 있다. 예를 들어, 객체 (예컨대, 적어도 소정의 높이를 갖는 객체) 가 이미지 센서에 더 근접할 경우, 더 작은 하부 (예컨대, 기저부 직경) 를 갖는 렌더링 기하구조는 객체의 외관을 평탄하게 하는 것을 회피할 수도 있다. 그러나, 장면이 높은 객체들이 이미지 센서 근처에 있지 않은 개방된 에어리어를 도시할 경우, 더 큰 하부 (예컨대,기저부 직경) 를 갖는 렌더링 기하구조는 장면을 더 양호하게 도시할 수도 있다.
본원에서 개시된 시스템들 및 방법들의 일부 구성들에서, 다수의 광각 피시아이 카메라 (fisheye camera) 들은 조감도 이미지 시각화 및/또는 서라운드 뷰 이미지 시각화를 생성하기 위하여 사용될 수도 있다. 서라운드 뷰 이미지 시각화는 심도 정보 및/또는 장면 내용에 기초하여 적응적으로 조절될 수도 있다. 예를 들어, 전자 디바이스는 심도 정보에 기초하여 이미지 시각화 (예컨대, 렌더링 기하구조, 투영된 뷰 등) 를 변경시킬 수도 있다. 예를 들어, 심도 정보는 이미지 (들) 에서의 하나 이상의 객체들까지의 거리 (예컨대, 그 심도), 카메라들로부터의 하나 이상의 객체들의 거리 등을 표시할 수도 있다. 일부 구성들에서, 렌더링 기하구조의 직경 (예컨대, 이미지의 투영) 은 심도 정보에 기초하여 제어될 수도 있다.
심도 정보의 하나의 예는 (전자 디바이스로부터, 이미지 센서 및/또는 심도 센서로부터 등) 장면에서 가장 근접한 객체까지의 거리이다. 심도 정보의 또 다른 예는 (전자 디바이스로부터, 이미지 센서 및/또는 심도 센서 등으로부터 장면에서의 다수의 객체들까지의) 평균 거리이다.
본원에서 개시된 시스템들 및 방법들에 따르면, 이미지 시각화 (예컨대, 투영된 뷰) 는 장면 (예컨대, 장면의 심도 정보) 에 기초하여 조절될 수도 있고 및/또는 변경될 수도 있다. 일부 투영들은 2D 이고 영화처럼 스크롤 (scroll) 하지만, 본원에서 개시된 시스템들 및 방법들은 3D 효과 (예를 들어, 어떤 객체들은 "팝-업 (pop-up)" 할 수도 있음) 를 제공할 수도 있다. 추가적으로 또는 대안적으로, 이미지 시각화는 도시 뷰 (예컨대, 하나 이상의 객체들이 카메라들에 근접한 더 좁은 뷰) 또는 녹색 들판 뷰 (예컨대, 하나 이상의 객체들이 카메라들로부터 더 먼 더 넓은 뷰) 를 묘사하기 위하여 동적으로 조절 (예컨대, 업데이트) 될 수도 있다. 추가적으로 또는 대안적으로, 관심 영역 (region of interest; ROI) 이 식별될 수도 있고 및/또는 줌 기능 (zoom capability) 은 객체 검출로부터 심도 또는 장면에 기초하여 설정될 수도 있다.
도 3 은 이미지 시각화를 생성하기 위한 시스템들 및 방법들이 구현될 수도 있는 전자 디바이스 (322) 의 하나의 예를 예시하는 블록도이다. 전자 디바이스 (322) 의 예들은 카메라들, 비디오 캠코더들, 디지털 카메라들, 셀룰러 전화들, 스마트폰들, 컴퓨터들 (예컨대, 데스크톱 컴퓨터들, 랩톱 컴퓨터들 등), 태블릿 디바이스들, 미디어 플레이어들, 텔레비전들, 차량들, 자동차들, 개인용 카메라들, 웨어러블 카메라들, 가상 현실 디바이스들 (예컨대, 헤드셋들), 증강 현실 디바이스들 (예컨대, 헤드셋들), 혼합 현실 디바이스들 (예컨대, 헤드셋들), 액션 카메라들, 감시 카메라들, 장착된 카메라들, 접속된 카메라들, 로봇들, 항공기, 드론들, 무인 항공기 (unmanned aerial vehicle; UAV) 들, 스마트 기기들, 건강관리 장비, 게이밍 콘솔들, 개인 정보 단말 (personal digital assistant; PDA) 들, 셋톱 박스들 등을 포함한다. 전자 디바이스 (322) 는 하나 이상의 컴포넌트들 또는 엘리먼트들을 포함할 수도 있다. 컴포넌트들 또는 엘리먼트들 중의 하나 이상은 하드웨어 (예컨대, 회로부) 로, 또는 하드웨어 및 소프트웨어의 조합 (예컨대, 명령들을 갖는 프로세서) 으로 구현될 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 프로세서 (330), 메모리 (338), 디스플레이 (340), 하나 이상의 이미지 센서들 (324), 하나 이상의 광학 시스템들 (326), 및/또는 통신 인터페이스 (328) 를 포함할 수도 있다. 프로세서 (330) 는 메모리 (338), 디스플레이 (340), 이미지 센서 (들) (324), 광학 시스템 (들) (326) 및/또는 통신 인터페이스 (328) 에 결합 (예컨대, 이와 전자 통신함) 될 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 도 4 내지 도 11 중의 하나 이상과 관련하여 설명된 기능들, 절차들, 방법들, 단계들 등 중의 하나 이상을 수행할 수도 있다. 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 도 4 내지 도 11 중의 하나 이상과 관련하여 설명된 구조들 중의 하나 이상을 포함할 수도 있다.
통신 인터페이스 (328) 는 전자 디바이스 (322) 가 하나 이상의 다른 전자 디바이스들과 통신하는 것을 가능하게 할 수도 있다. 예를 들어, 통신 인터페이스 (328) 는 유선 및/또는 무선 통신들에 대한 인터페이스를 제공할 수도 있다. 일부 구성들에서, 통신 인터페이스 (328) 는 라디오 주파수 (radio frequency; RF) 신호들을 송신하고 및/또는 수신하기 위한 하나 이상의 안테나들 (344) 에 결합될 수도 있다. 추가적으로 또는 대안적으로, 통신 인터페이스 (328) 는 하나 이상의 종류들의 유선 (예컨대, 유니버셜 직렬 버스 (Universal Serial Bus; USB), 이더넷(Ethernet) 등) , etc.) 통신을 가능하게 할 수도 있다.
일부 구성들에서는, 다수의 통신 인터페이스들 (328) 이 구현될 수도 있고 및/또는 사용될 수도 있다. 예를 들어, 하나의 통신 인터페이스 (328) 는 셀룰러 (예컨대, 3G, 롱텀 에볼루션 (Long Term Evolution; LTE), CDMA 등) 통신 인터페이스 (328) 일 수도 있고, 또 다른 통신 인터페이스 (328) 는 이더넷 인터페이스일 수도 있고, 또 다른 통신 인터페이스 (328) 는 유니버셜 직렬 버스 (USB) 인터페이스일 수도 있고, 또 다른 통신 인터페이스 (328) 는 무선 로컬 영역 네트워크 (wireless local area network; WLAN) 인터페이스 (예컨대, 전기전자 기술자 협회 (Institute of Electrical and Electronics Engineers; IEEE) 802.11 인터페이스) 일 수도 있다. 일부 구성들에서, 통신 인터페이스 (328) 는 정보 (예컨대, 이미지 정보, 심도 정보, 이미지 시각화 정보 등) 를 또 다른 디바이스 (예컨대, 차량, 스마트폰, 카메라, 디스플레이, 원격 서버 등) 으로 전송할 수도 있고 및/또는 또 다른 디바이스 (예컨대, 차량, 스마트폰, 카메라, 디스플레이, 원격 서버 등) 로부터 정보를 수신할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 디바이스 (예컨대, 또 다른 차량) 와 정보를 공유할 수도 있다.
전자 디바이스 (322) 는 하나 이상의 이미지들 (예컨대, 디지털 이미지들, 이미지 프레임들, 비디오 등) 을 획득할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 광학 시스템 (들) (326) 의 시야 (field of view) 내에 위치되는 장면 (들) 및/또는 객체 (들) 의 이미지들을 이미지 센서 (들) (324) 상에 초점을 맞추는 하나 이상의 이미지 센서들 (324) 및/또는 하나 이상의 광학 시스템들 (326) (예컨대, 렌즈들) 을 포함할 수도 있다. 카메라 (예컨대, 시각적 스펙트럼 카메라) 는 적어도 하나의 이미지 센서 및 적어도 하나의 광학 시스템을 포함할 수도 있다. 일부 구성들에서, 이미지 센서 (들) (324) 는 하나 이상의 이미지들을 캡처할 수도 있다. 광학 시스템 (들) (326) 은 프로세서 (330) 에 결합될 수도 있고 및/또는 프로세서 (330) 에 의해 제어될 수도 있다. 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 또 다른 디바이스 (예컨대, 전자 디바이스 (322), 네트워크 서버, 트래픽 카메라 (들), 드롭 카메라 (drop camera) (들), 자동차 카메라 (들), 웹 카메라 (들) 등에 결합된 하나 이상의 외부 이미지 센서 (들)) 로부터 하나 이상의 이미지들을 요청할 수도 있고 및/또는 수신할 수도 있다. 일부 구성들에서, 전자 디바이스 (322) 는 통신 인터페이스 (328) 를 통해 하나 이상의 이미지들을 요청할 수도 있고 및/또는 수신할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 카메라 (들) (예컨대, 이미지 센서 (들) (324) 및/또는 광학 시스템 (들) (326)) 를 포함할 수도 있거나 포함하지 않을 수도 있고, 하나 이상의 원격 디바이스 (들) 로부터 이미지들을 수신할 수도 있다. 이미지들 (예컨대, 이미지 프레임들) 중의 하나 이상은 하나 이상의 장면 (들) 및/또는 하나 이상의 객체 (들) 를 포함할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 이미지 데이터 버퍼 (도시되지 않음) 를 포함할 수도 있다. 이미지 데이터 버퍼는 이미지 센서 (324) 로부터의 이미지 데이터를 버퍼링 (예컨대, 저장) 할 수도 있다. 버퍼링된 이미지 데이터는 프로세서 (330) 에 제공될 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 카메라 소프트웨어 애플리케이션 및/또는 디스플레이 (340) 를 포함할 수도 있다. 카메라 애플리케이션이 작동하고 있을 때, 광학 시스템 (들) (326) 의 시야 내에 위치되는 객체들의 이미지들은 이미지 센서 (들) (324) 에 의해 캡처될 수도 있다. 이미지 센서 (들) (324) 에 의해 캡처되고 있는 이미지들은 디스플레이 (340) 상에서 제시될 수도 있다. 일부 구성들에서, 이 이미지들은 시간에 있어서의 임의의 소정의 순간에, 광학 시스템 (326) 의 시야 내에 위치되는 장면 (들) 및/또는 객체 (들) 가 디스플레이 (340) 상에서 제시되도록, 상대적으로 높은 프레임 레이트에서 급속하게 연속적으로 디스플레이될 수도 있다. 전자 디바이스 (322) 에 의해 획득된 하나 이상의 이미지들은 하나 이상의 비디오 프레임들 및/또는 하나 이상의 스틸 이미지들일 수도 있다. 일부 구성들에서, 디스플레이 (340) 는 추가적인 또는 대안적인 정보를 제시할 수도 있다. 예를 들어, 디스플레이 (340) 는 하나 이상의 검출된 및/또는 추적된 객체들에 대응하는 하나 이상의 관심 영역들 (예컨대, 경계설정 박스들) 을 제시할 수도 있다. 추가적으로 또는 대안적으로, 디스플레이 (340) 는 심도 정보 (예컨대, 이미지 시각화에서의 하나 이상의 객체들 (예컨대, 선택된 객체들) 까지의 하나 이상의 추정된 거리들) 를 제시할 수도 있다.
프로세서 (330) 는 합성된 이미지 획득기 (332) 를 포함할 수도 있고 및/또는 구현할 수도 있다. 이미지 프레임들 중의 하나 이상은 합성된 이미지 획득기 (332) 에 제공될 수도 있다. 일부 구성들에서, 합성된 이미지 획득기 (332) 는 도 4 내지 도 5 및 도 10 중의 하나 이상과 관련하여 설명된 접근법들, 기능들, 절차들, 단계들, 및/또는 구조들 중의 하나 이상에 따라 동작할 수도 있다. 합성된 이미지 획득기 (332) 는 합성된 이미지를 획득할 수도 있다. 합성된 이미지는 이미지들의 조합일 수도 있다. 예를 들어, 다수의 이미지들은 합성된 이미지를 형성하기 위하여 함께 스티칭 (stitching) 될 수도 있다. 합성된 이미지를 형성하기 위하여 이용된 다수의 이미지들은 단일 이미지 센서 (예컨대, 다수의 위치들 (예컨대, 각도들, 회전들, 로케이션들 등) 에서의 하나의 이미지 센서) 로부터 캡처될 수도 있거나, (예를 들어, 상이한 로케이션들에서) 다수의 이미지 센서들로부터 캡처될 수도 있다. 위에서 설명된 바와 같이, 이미지 (들) 는 전자 디바이스 (322) 내에 포함된 이미지 센서 (들) (324) 로부터 캡처될 수도 있거나, 하나 이상의 원격 이미지 센서 (들) 로부터 캡처될 수도 있다.
일부 구성들에서, 합성된 이미지 획득기 (332) 는 합성된 이미지를 형성하기 위하여 이미지들을 합성할 수도 있다. 예를 들어, 합성된 이미지 획득기 (332) 는 이미지 정렬 (예컨대, 등록), 심 발견 (seam finding), 및/또는 병합을 수행할 수도 있다. 이미지 정렬은 이미지들 사이의 중첩하는 에어리어를 결정하는 것, 및/또는 이미지들을 정렬하는 것을 포함할 수도 있다. 심 발견은 이미지들 사이의 중첩하는 에어리어에서 심을 결정하는 것을 포함할 수도 있다. 심은 이미지들 사이의 연속성을 개선 (예컨대, 불연속성을 감소) 시키기 위하여 생성될 수도 있다. 예를 들어, 합성된 이미지 획득기 (332) 는 이를 따라 이미지들이 양호하게 정합하는 (예컨대, 에지 (edge) 들, 객체들, 텍스처 (texture) 들, 컬러, 및/또는 세기가 양호하게 정합하는) 심 (seam) 을 결정할 수도 있다. 이미지들을 병합하는 것은 (예를 들어, 심을 따라) 이미지들을 합치는 것, 및/또는 정보 ( 예컨대, 크롭된 픽셀 (cropped pixel) 들) 를 폐기하는 것을 포함할 수도 있다.
일부 구성들에서, 이미지 정렬 (예컨대, 중첩하는 에어리어 결정) 및/또는 심 발견은 임의적일 수도 있다는 것이 주목되어야 한다. 예를 들어, 카메라들 (예컨대, 이미지 센서 (들) (324) 및 광학 시스템 (들) (326)) 은 중첩하는 에어리어 및/또는 심이 미리 결정되도록, 오프라인으로 교정될 수도 있다. 이 구성들에서, 이미지들은 미리 결정된 중첩 및/또는 심에 기초하여 병합될 수도 있다.
일부 구성들에서, 합성된 이미지 획득기 (332) 는 하나 이상의 합성된 이미지들을 요청할 수도 있고 및/또는 수신할 수도 있다. 예를 들어, 합성된 이미지 획득기 (332) 는 통신 인터페이스 (328) 를 통해 원격 디바이스 (예컨대, 외부 카메라 (들), 원격 서버, 원격 전자 디바이스 등) 로부터 합성된 이미지를 요청할 수도 있고 및/또는 수신할 수도 있다. 이 구성들에서, 합성된 이미지 획득기 (332) 는 이미지들을 합성하지 않을 수도 있다 (예컨대, 이미지 정렬, 심 발견, 및/또는 병합을 수행하지 않을 수도 있음).
일부 구성들에서, 합성된 이미지 획득기 (332) 는 임의적일 수도 있다. 예를 들어, 이미지 시각화 조절은 단일 이미지 상에서 및/또는 비-합성된 이미지들 상에서 수행될 수도 있다.
프로세서 (330) 는 심도 정보 획득기 (334) 를 포함할 수도 있고 및/또는 구현할 수도 있다. 심도 정보 획득기 (334) 는 심도 정보를 획득할 수도 있다. 심도 정보는 이미지에서의 (예컨대, 합성된 이미지에서의) 적어도 하나의 객체까지의 거리를 표시한다. 예를 들어, 심도 정보는 전자 디바이스 (322) 와 하나 이상의 객체들 사이의 거리 (예컨대, 가장 근접한 객체까지의 거리, 다수의 객체들까지의 평균 거리 등) 를 표시할 수도 있다. 추가적으로 또는 대안적으로, 심도 정보는 적어도 하나의 센서 (예컨대, 이미지 센서 (들) (324), 다른 심도 센서 (들)) 와 하나 이상의 객체들 사이의 거리 (예컨대, 심도 센서 (들) 로부터 가장 근접한 객체까지의 거리, 심도 센서 (들) 로부터 다수의 객체들까지의 평균 거리 등) 를 표시할 수도 있다. 일부 구성들에서, 심도 정보는 하나 이상의 심도 맵 (depth map) 들을 포함할 수도 있다. 일부 구성들에서, 심도 정보 획득기 (334) 는 도 4 내지 도 10 중의 하나 이상과 관련하여 설명된 접근법들, 기능들, 절차들, 단계들, 및/또는 구조들 중의 하나 이상에 따라 동작할 수도 있다. 거리 측정은 센서의 로케이션으로부터 취해질 수도 있지만, 측정된 거리는 일부 구성들에서 또 다른 포인트에 대하여 맵핑 (예컨대, 변환) 될 수도 있거나 맵핑되지 않을 수도 있다는 것이 주목되어야 한다. 예를 들어, 전자 디바이스 (322) 는 거리 측정을 임의적인 포인트 (예컨대, 차량의 중심, 디바이스의 중심 등) 에 상대적이도록 맵핑할 수도 있다. 이것은 거리 측정이 심도 센서 (들) 의 로케이션과는 상이한 포인트에서 위치되는 (예컨대, 중심이 두어지는) 렌더링 기하구조와 대응 (예컨대, 일치) 하는 것을 허용할 수도 있다.
심도 정보를 획득하는 것은 다수의 이미지들 (예컨대, 입체적 심도 결정), 모션 정보, 및/또는 다른 심도 감지에 기초하여 수행될 수도 있다. 일부 접근법들에서, 하나 이상의 카메라들 (예컨대, 이미지 센서 (들) 및/또는 광학 시스템 (들)) 은 심도 센서들일 수도 있고 및/또는 심도 센서들로서 사용될 수도 있다. 일부 구성들에서, 예를 들어, 심도 정보 획득기 (334) 는 (이미지 센서 (들) (324) 로부터 및/또는 원격 이미지 센서 (들) 로부터) 다수의 이미지들을 수신할 수도 있다. 심도 정보 획득기 (334) 는 이미지 센서와 하나 이상의 객체들 사이의 거리를 결정하기 위하여 이미지들에서 (예를 들어, 이미지들의 중첩하는 에어리어들에서) 하나 이상의 객체들을 삼각측량 (triangulate) 할 수도 있다. 예를 들어, (제 1 카메라 좌표계에서 참조된) 특징 포인트들의 3D 위치는 2 개 (또는 더 많은) 교정된 카메라들로부터 계산될 수도 있다. 그 다음으로, 심도는 삼각측량을 통해 추정될 수도 있다.
일부 구성들에서, 심도 정보 획득기 (334) 는 이동하는 카메라들에 기초하여 심도 정보를 결정할 수도 있다 (예컨대, 모션으로부터의 구조 (structure from motion; SfM) 로서 지칭된 접근법). 예를 들어, 심도는 카메라 모션 (예컨대, 장면에서의 하나 이상의 객체들에 대한 카메라 (들) 의 모션) 으로 인한 2 개 이상의 프레임들에 기초하여 추정될 수도 있다. 예를 들어, (예를 들어, 시간 또는 프레임들에 대한 이미지들에서) 시간에 대한 객체의 모션을 관찰함으로써, 심도 정보 획득기 (334) 는 이미지 센서 (예컨대, 이미지 센서 (들) (324) 및/또는 원격 이미지 센서 (들)) 와 객체 사이의 거리를 결정할 수도 있다. 2 개의 뷰들로부터의 객체 포인트들은 정합될 수도 있고, 상대적인 카메라 모션이 추정될 수도 있다. 그 다음으로, 객체의 구조 및/또는 심도는 삼각측량에 의해 추정 (예컨대, 생성) 될 수도 있다.
일부 구성들에서, 심도 정보 획득기 (334) 는 하나 이상의 추가적인 또는 대안적인 심도 감지 접근법들을 사용함으로써 심도 정보를 획득할 수도 있다. 예를 들어, 심도 정보 획득기 (334) 는 심도 센서로부터 (추가적으로 또는 대안적으로, 하나 이상의 시각적 스펙트럼 카메라들로부터), 하나 이상의 객체들까지의 거리를 표시할 수도 있는 정보를 수신할 수도 있다. 다른 심도 센서들의 예들은 비행 시간 (time-of-flight) 카메라들 (예컨대, 적외선 비행 시간 카메라들), 간섭계 (interferometer) 들, 레이더 (radar), 라이더 (lidar), 음파 심도 (sonic depth) 센서들, 초음파 심도 센서들 등을 포함한다. 하나 이상의 심도 센서들은 일부 구성들에서, 전자 디바이스 (322) 내에 포함될 수도 있고, 그것에 결합될 수도 있고, 및/또는 그것과 통신할 수도 있다. 심도 정보 획득기 (334) 는 하나 이상의 심도 센서들로부터의 정보에 기초하여 심도 정보를 추정 (예컨대, 연산) 할 수도 있고, 및/또는 하나 이상의 심도 센서들로부터 심도 정보를 수신할 수도 있다. 예를 들어, 심도 정보 획득기 (334) 는 비행 시간 카메라로부터 비행 시간 정보를 수신할 수도 있고, 비행 시간 정보에 기초하여 심도 정보를 연산할 수도 있다.
추가적으로 또는 대안적으로, 심도 정보 획득기 (334) 는 (예를 들어, 심도 센서가 심도 정보를 직접적으로 제공하는 구성들에서) 하나 이상의 심도 센서들로부터 직접적으로 심도 정보를 요청할 수도 있고 및/또는 수신할 수도 있다. 예를 들어, 심도 정보 획득기 (334) 는 하나 이상의 시각적 스펙트럼 카메라들, 하나 이상의 적외선 비행 시간 카메라들, 간섭계들, 라이더, 레이더, 음파/초음파 심도 센서들 등으로부터 심도 정보를 수신할 수도 있다. 일부 구성들에서, 심도 정보는 (예를 들어, 하나 이상의 이미지들에 대응할 수도 있는) 하나 이상의 심도 맵들을 포함할 수도 있다.
일부 구성들에서는, 심도 정보 (예컨대, 멀티-모달 (multi-modal) 심도) 를 획득하기 위한 접근법들의 조합이 구현될 수도 있다. 예를 들어, SfM, 입체적 삼각측량, 및 라이더의 조합이 구현될 수도 있다. 다른 조합들이 구현될 수도 있다. 멀티-모달 심도 추정을 사용하는 것은 심도 정보의 품질을 개선시킬 수도 있다. 예를 들어, 상이한 센서들로부터의 심도 정보는 (예를 들어, 다수의 심도 맵들 등을 병합 (예컨대, 평균화) 하고 및/또는 보간함으로써) 이상점 (outlier) 들을 필터링하고 및/또는 잡음을 감소시키기 위하여 사용될 수도 있다.
심도 정보는 하나 이상의 장면들에서의 하나 이상의 객체들의 존재를 표시할 수도 있다. 객체는 물체의 물리적 본체일 수도 있다. 일부 구성들에서는, 장면에서의 물체의 오직 일부 물리적 본체들이 "객체들" 로서 검출될 수도 있다. 예를 들어, 적어도 최소 높이를 가지는 물체의 오직 물리적 본체들은 전자 디바이스 (322) 에 의해 일부 구성들에서 "객체들" 로서 검출될 수도 있다. 예를 들어, 센티미터 (cm) 높이보다 더 작은 자갈 (pebble) 은 일부 구성들에서 "객체" 로서 검출되지 않을 수도 있다. 최소 높이는 미리 결정될 수도 있고 및/또는 조절가능할 수도 있다. 예를 들어, 대략 10 cm 높이의 연석 (curb) 높이는 일부 구성들에서는 객체로서 검출될 수도 있지만, 다른 구성들에서는 객체로서 검출되지 않을 수도 있다. 하나 이상의 추가적인 또는 대안적인 기준들 (예컨대, 폭, 심도, 모션, 타입 등) 은 물리적 본체가 이미지 시각화 조절의 목적들을 위하여 "객체" 인지 여부를 결정하기 위하여 사용될 수도 있다. 따라서, 전자 디바이스 (322) 는 하나 이상의 기준들에 기초하여, 장면에서의 하나 이상의 물리적 본체들이 "객체들" 인지 여부를 결정할 수도 있다. 이것은 상당하고 및/또는 관련 있는 것으로 고려되는 물리적 본체들에 오직 기초하여 조절을 수행함으로써 (예컨대, 이미지 시각화 조절이 관련 없는 및/또는 상당하지 않은 물리적 본체들에 대응하는 심도 정보에 기초하여 동작하게 할 수도 있는 물리적 본체들을 필터링함으로써) 이미지 시각화 조절을 개선시킬 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 이미지 시각화 조절의 목적들을 위하여 물리적 본체 타입 (들) 을 결정할 수도 있고 및/또는 사용할 수도 있다. 예를 들어, 전자 디바이스 (322) (예컨대, 프로세서 (330) 및/또는 프로세서 (330) 내에 포함된 물리적 본체 타입 검출기) 는 하나 이상의 검출된 물리적 본체들에 대한 물리적 본체 타입을 결정할 수도 있다. 일부 구성들에서, 프로세서 (330) 는 하나 이상의 물리적 본체 타입들을 결정하기 위하여 하나 이상의 이미지들에서의 하나 이상의 검출된 물리적 본체들에 대해 물리적 본체 인식 (예컨대, 객체 인식) 을 수행할 수도 있다. 예를 들어, 전자 디바이스 (예컨대, 프로세서 (330)) 는 하나 이상의 물리적 본체 속성들 (예컨대, 키포인트 (keypoint) 들, 차원들, 컬러 등) 을 알려진 물리적 본체들의 데이터베이스와 비교할 수도 있다. 하나 이상의 물리적 본체 속성들이 (예를 들어, 확실성의 정도까지) 알려진 물리적 본체의 하나 이상의 물리적 본체 속성들과 정합할 경우, 전자 디바이스 (322) 는 대응하는 검출된 물리적 본체를 알려진 물리적 본체의 타입으로서 라벨을 붙일 수도 있다. 다른 구성들에서, 원격 디바이스는 하나 이상의 물리적 본체 타입들을 결정할 수도 있다. 전자 디바이스 (322) 는 물리적 본체 타입 정보를 수신할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) (예컨대, 프로세서 (330)) 는 이미지 시각화 조절의 목적들을 위하여 물리적 본체 타입 (들) 을 사용할 수도 있다. 예를 들어, 전자 디바이스 (322) (예컨대, 프로세서 (330)) 는 어떤 물리적 본체 타입들에 대하여 오직 이미지 시각화 조절을 수행할 수도 있고, 및/또는 어떤 물리적 본체 타입들이 아닌 물리적 본체들을 무시할 수도 있다. 예를 들어, 이미지 시각화 조절기 (336) 는 자동차들, 건물들, 사람들, 동물들 (예컨대, 개들), 어떤 식물들 (예컨대, 충분한 높이를 갖는 나무들, 충분한 높이를 갖는 관목들 등), 장벽들 등에 대한 이미지 시각화를 조절할 수도 있다. 그러나, 이미지 시각화 조절기 (336) 는 쓰레기 및 어떤 식물들 (예컨대, 잔디, 잡초들, 낮게-누워 있는 지면 커버 등) 과 같은 물리적 본체들을 무시할 수도 있다. 이러한 방법으로, 이미지 시각화 조절기 (336) 는 높이 (예컨대, 심도) 의 감각을 더 관련 있는 물리적 본체들에 제공하는 것을 도울 수도 있다. 심도 정보에 추가하여, 물리적 본체 타입은 일부 구성들에서 이미지 시각화 조절을 수행하기 위하여 물리적 본체 높이로부터 추가적으로 또는 대안적으로 이용될 수도 있다.
프로세서 (330) 는 이미지 시각화 조절기 (336) 를 포함할 수도 있고 및/또는 구현할 수도 있다. 이미지 시각화 조절기 (336) 는 심도 정보에 기초하여 이미지 시각화를 생성할 수도 있고 및/또는 조절할 수도 있다. 예를 들어, 이미지 시각화 조절기 (336) 는 심도 정보에 기초하여 렌더링 기하구조를 조절할 수도 있다. 더 구체적으로, 심도 정보는 3D 디스플레이의 형상을 조절하기 위하여 및/또는 디스플레이, 가상 현실, 및/또는 증강 현실을 위한 (예컨대, 오큘러스 리프트 (Oculus Rift) 디바이스, 홀로렌즈 (HoloLens) 디바이스 등에서의 이용을 위한) 3D 서라운드 뷰를 생성하기 위하여 이용될 수도 있다. 일부 구성들에서, 이미지 시각화 조절기 (336) 는 도 4 내지 도 10 중의 하나 이상과 관련하여 설명된 접근법들, 기능들, 절차들, 단계들, 및/또는 구조들 중의 하나 이상에 따라 동작할 수도 있다.
렌더링 기하구조는 이미지가 그 상으로 렌더링 (예컨대, 맵핑, 투영 등) 되는 형상일 수도 있다. 예를 들어, 이미지 (예컨대, 합성된 이미지) 는 보울 (예컨대, 보울 내부), 컵 (예컨대, 컵 내부), 구 (예컨대, 전체적인 구 내부, 부분적인 부 내부, 반구 내부 등), 회전타원면 (spheroid) (예컨대, 전체적인 회전타원면 내부, 부분적인 회전타원면 내부, 반-회전타원면 등), 원통 (예컨대, 전체적인 원통 내부, 부분적인 원통 내부 등), 타원체 (ellipsoid) (예컨대, 전체적인 타원체 내부, 부분적인 타원체 내부, 반-타원체 내부 등), 다면체 (polyhedron) (예컨대, 다면체 내부, 부분적인 다면체 내부 등), 사다리꼴 프리즘 (예컨대, 사다리꼴 프리즘 내부, 부분적인 사다리꼴 프리즘 내부 등) 등의 형상에서 렌더링될 수도 있다. 일부 접근법들에서 "보울" (예컨대, 다층 보울) 형상은 평탄한 (예컨대, 평면형) 기저부를 갖는 (전체적인 또는 부분적인) 구, 회전타원면 (spheroid), 또는 타원체일 수도 있다. 렌더링 기하구조는 대칭적일 수도 있거나 대칭적이지 않을 수도 있다. 전자 디바이스 (322) (예컨대, 이미지 시각화 조절기 (336)) 는 이미지 시각화에서 전자 디바이스 (322) (예컨대, 차량, 드론 등) 의 모델 (예컨대, 3D 모델) 또는 표현을 삽입할 수도 있다는 것이 주목되어야 한다. 모델 또는 표현은 일부 구성들에서 미리 결정될 수도 있다. 예를 들어, 이미지 데이터는 일부 구성들에서 모델 상에서 렌더링되지 않을 수도 있다.
일부 렌더링 기하구조들은 상향 또는 수직 부분을 포함할 수도 있다. 예를 들어, 보울, 컵, 원통, 박스, 또는 프리즘 형상들의 적어도 하나의 "측부" 는 상향 또는 수직 부분일 수도 있다. 예를 들어, 평탄한 기저부를 가지는 형상들의 상향 또는 수직 부분은 기저부 (예컨대, 수평 기저부) 가 전이 (transition) 하거나 상향 또는 수직으로 전이하기 시작하는 곳에서 시작할 수도 있다. 예를 들어, 보울 형상의 전이 (예컨대, 전이 에지) 는 평탄한 (예컨대, 평면형) 기저부가 굴곡된 (예컨대, 구형, 타원형 등) 부분과 교차하는 곳에서 형성될 수도 있다. 지면이 더 자연스럽게 보이는 것을 허용할 수도 있는 평탄한 기저부를 갖는 렌더링 기하구조를 사용하는 것이 유익할 수도 있다. 굴곡된 기저부를 가질 수도 있는 다른 형상들 (예컨대, 구, 타원체 등) 이 사용될 수도 있다. 이 형상들에 대하여 (및/또는 평탄한 기저부를 가지는 형상들에 대하여), 상향 또는 수직 부분은 렌더링 기하구조 및/또는 특정한 기울기보다 더 크거나 동일한 형상의 부분의 중심 (예컨대, 하부 중심) 으로부터의 거리에서 확립될 수도 있다. 외부 에지들이 뒤집히는 이미지 시각화들은 "서라운드 뷰" 이미지 시각화로서 지칭될 수도 있다.
일부 구성들에서, 이미지 시각화는 장면에서의 하나 이상의 객체들의 왜곡을 회피하고 및/또는 감소시키기 위하여 조절될 수도 있다. 예를 들어, 이미지 시각화를 조절하는 것은 장면을 더 정확하게 묘사하기 위하여 (관점 또는 렌더링) 왜곡을 감소시키는 것을 포함할 수도 있다. 회피될 수도 있고 및/또는 감소될 수도 있는 왜곡의 하나의 타입은 장면에서의 객체들의 평탄화이다. 예를 들어, 사람들, 나무들, 건물들 등과 같은 상당한 높이를 갖는 일부 객체들은 보울-형상의 서라운드 뷰의 하부 상에서 렌더링될 때에 평탄화된 것으로 보일 수도 있다. 본원에서 설명된 시스템들 및 방법들은 하나 이상의 객체들을 평탄화하는 것을 회피하기 위하여 시각화 (예컨대, 서라운드 뷰의 형상, "보울" 의 직경 등) 를 조절할 수도 있다. 예를 들어, "도시" 뷰에서, 더 근접한 거리에서의 객체들은 "보울" 의 측부들 상에서 렌더링될 수도 있는 반면, "녹지대" 뷰에서는, 더 큰 거리에서의 객체들이 "보울" 의 측부들 상에서 렌더링될 수도 있다. 일부 구성들에서, 시각적 객체 (예컨대, "팝-업" 객체, 스프라이트 (sprite), 3D 모델 등) 는 더 적은 왜곡을 갖는 하나 이상의 객체들을 렌더링하기 위하여 삽입될 수도 있다. 시차 효과 (parallax effect) 가 (전경 객체들이 배경에 대하여 이동하는 것을 보일 수도 있을 곳에서) 발생할 수도 있고, 이것은 이미지 시각화에서 심도의 외관을 제공할 수도 있다.
전자 디바이스 (322) 는 디스플레이 (340) 상에서 이미지 시각화 (예컨대, 합성된 이미지 시각화) 를 제시할 수도 있다. 예를 들어, 프로세서 (330) 는 이미지 시각화를, 이미지 시각화를 제시할 수도 있는 디스플레이 (340) 에 제공할 수도 있다.
심도 정보에 기초하여 이미지 시각화를 조절하는 것은 렌더링 기하구조를 변경하는 것을 포함할 수도 있다. 예를 들어, 이미지 시각화를 조절하는 것은 렌더링 기하구조의 하나 이상의 차원들 및/또는 파라미터들 (예컨대, 반경, 직경, 폭, 길이, 높이, 굴곡된 표면 각도, 코너 각도, 원주, 크기, 중심으로부터의 거리 등) 을 조절하는 것을 포함할 수도 있다. 렌더링 기하구조는 대칭적일 수도 있거나 대칭적이지 않을 수도 있는 것이 주목되어야 한다.
일부 예들에서, 렌더링 기하구조는
Figure pct00001
으로서 표현될 수도 있고, 여기서, x 는 제 1 차원이고, y 는 제 2 차원이고, z 는 제 2 차원이고, a 는 제 1 차원 (예컨대, 길이) 을 따르는 렌더링 기하구조의 반경이고, b 는 제 2 차원 (예컨대, 폭) 을 따르는 렌더링 기하구조의 반경이고, c 는 제 3 차원 (예컨대, 높이) 을 따르는 렌더링 기하구조의 반경이고, d 는 기하구조 크기의 스칼라 (scalar) 이다. 렌더링 기하구조를 조절하는 것은 심도 정보에 기초하여 파라민터들 (예컨대, a, b, c, 및/또는 d) 중의 임의의 것을 조절하는 것을 포함할 수도 있다. 예를 들어, 렌더링 기하구조의 길이 및 폭은 객체까지의 거리를 가장 근접한 심도와 대략적으로 정합하기 위하여 조절될 수도 있다. 또 다른 예에서, 길이 및 폭은 상이할 수도 있다. 예를 들어, 차량이 좁은, 그러나 긴 통로 (예컨대, 터널, 주차 차고 등) 를 통해 주행하고 있을 때, 렌더링 기하구조의 폭은 상대적으로 작도록 조절될 수도 있는 반면, 길이는 상대적으로 크도록 조절될 수도 있다.
일부 구성들에서, 이미지 시각화를 조절하는 것은 렌더링 기하구조의 뒤집힌 또는 수직 에지가 발생하는 곳 (예컨대, 전자 디바이스, 카메라, 및/또는 이미지 센서로부터의 거리) 에서 변경하는 것을 포함할 수도 있다. 뒤집힌 또는 수직 에지는 렌더링 기하구조가 전이하거나 기저부 (예컨대, 평탄한 기저부) 로부터 상향 (예컨대, 수직) 으로 전이하기 시작하는 곳에 있을 수도 있다. 예를 들어, 뒤집힌 또는 수직 에지는 그것이 가장 근접한 객체 거리 (또는 예를 들어, 평균 객체 심도) 에 대응 (예컨대, 그것으로부터 약간의 거리 내에 있음) 하도록 조절될 수도 있다. 따라서, 이미지 시각화를 적응시키는 것은 하나 이상의 객체들이 렌더링 기하구조의 상향 또는 수직 부분 상에서 렌더링되도록, 렌더링 기하구조를 조절하는 것을 포함할 수도 있다.
일부 구성들에서, 조절들은 하나 이상의 극단들을 제외하는 범위 내에 오직 행해질 수도 있다. 예를 들어, 렌더링 기하구조는 심도 정보 (예컨대, 가장 근접한 객체 거리, 평균 객체 심도 등) 에 대하여 1 미터 내지 100 미터의 범위 내에서 변경될 수도 있다. 이 예에서, 심도 정보가 가장 근접한 객체가 100 미터보다 더 멀어져 있다는 것을 표시할 경우, 렌더링 기하구조는 100 미터로, 그리고 더 멀지 않도록 오직 조절될 수도 있다. 다른 구성들에서는, 범위 제한들이 사용되지 않을 수도 있다.
일부 예들에서는, 형상 (예컨대, 보울, 원통, 컵 등) 의 기저부 또는 하부 에어리어가 조절될 수도 있다. 예를 들어, 기저부 반경은 가장 근접한 객체까지의 거리 (또는 평균 객체 거리) 보다 작거나 동일한 (예컨대, 그것보다 작은 양 이내 인) 거리로 확장하도록 조절될 수도 있다. 하나의 예에서, 기저부 직경은 기저부가 가장 근접한 객체 거리의 대략 미터 이내인 것으로 확장하도록 조절될 수도 있다. 따라서, 기저부 직경은 가장 근접한 객체 (또는 평균 객체 심도) 가 더 멀어질 경우에 팽창될 수도 있고, 및/또는 가장 근접한 객체 (또는 평균 객체 심도) 가 더 근접할 경우에 수축될 수도 있다.
이미지 시각화는 뷰포인트 (viewpoint) (예컨대, 관점, 카메라 각도 등) 로부터 제시될 수도 있다. 예를 들어, 이미지 시각화는 상부-다운 (top-down) 뷰포인트, 후방-투-전방 (back-to-front) 뷰포인트 (예컨대, 상승된 후방-투-전방, 하강된 후방-투-전방 등), 전방-투-후방 (front-to-back) 뷰포인트 (예컨대, 상승된 전방-투-후방, 하강된 전방-투-후방 등), 사선 뷰포인트 (예컨대, 후방 및 약간 위를 맴도는 것, 다른 각도형성된 뷰포인트들 등) 등으로부터 제시될 수도 있다. 추가적으로 또는 대안적으로, 이미지 시각화는 회전될 수도 있고 및/또는 시프트될 수도 있다.
일부 구성들에서, 심도 정보에 기초하여 이미지 시각화를 조절하는 것은 이미지 시각화의 뷰포인트, 회전, 및/또는 시프트를 조절하는 것을 포함할 수도 있다. 일부 접근법들에서, 하나 이상의 객체들이 더 근접할 때, 뷰포인트는 전자 디바이스 (예컨대, 차량) 에 더 근접하게 "줌 인 (zoom in)" 하기 위하여 조절될 수도 있다. 이것은 객체 (들) 이 전자 디바이스에 근접하게 위치되는 상황들에 대한 더 큰 세부사항을 제시할 수도 있다. 반대로, 객체 (들) 가 근처가 아니라, 더 멀어져 있을 때, 뷰포인트는 더 넓은 뷰를 제시하기 위하여 "줌 아웃 (zoom out)" 할 수도 있다. 다른 접근법들에서, 뷰포인트는 하나 이상의 객체들이 더 멀어져 있을 때에 "줌 인" 할 수도 있고 지면에 대한 각도를 감소시킬 수도 있다. 이것은 개방된 공간들에 대한 더 자연스러운 관점을 제공할 수도 있다. 뷰포인트는 하나 이상의 객체들이 중간 거리에 있을 때에 ("상부-다운" 뷰의 더 많은 것에 대하여) "줌 아웃" 할 수도 있고 지면에 대한 각도를 감소시킬 수도 있다. 이것은 후방을 포함하는 주변들의 전부를 더 양호하게 예시할 수도 있다 (이것은 예를 들어, 주차장을 찾고 있을 때에 도움이 될 수도 있음). 뷰포인트는 하나 이상의 객체들이 인접할 때에 "줌 인" 할 수도 있고 지면에 대한 각도를 감소시킬 수도 있다. 이것은 더 빽빽한 공간들에서 더 많은 세부사항을 예시할 수도 있다 (이것은 예를 들어, 빽빽한 복도, 터널, 또는 차고에서 주행할 때에 도움이 될 수도 있음).
추가적으로 또는 대안적으로, 렌더링 기하구조는 심도 정보에 기초하여 시프트될 수도 있고 및/또는 회전될 수도 있다. 예를 들어, 객체가 차량의 측면-뷰 미러 하우징 근처에 있을 경우, 렌더링 기하구조는 (예컨대, 차량을 벽 또는 주차 차고 기둥 옆과 같이 빽빽한 공간으로 이동시킬 때에 충돌들을 회피하기 위하여) 측면 뷰 미러 하우징에 관련하여 객체를 더 양호하게 제시하기 위하여 시프트될 수도 있고 및/또는 회전될 수도 있다.
본원에서 개시된 시스템들 및 방법들의 일부 구성들은 또한, 자유 뷰 렌더링 (free view rendering) 을 제공할 수도 있고, 여기서, 시각화는 임의의 뷰포인트 (예컨대, 임의의 렌더링 각도) 또는 뷰포인트들의 소정의 범위들로부터 렌더링될 수도 있다. 일부 구성들에서, 이미지 시각화는 사용자 인터페이스 (342) 입력에 기초하여 조절될 수도 있다. 예를 들어, 사용자 인터페이스 (342) (예컨대, 터치스크린) 는 이미지 시각화의 회전, 시프트, 및/또는 줌을 표시하는 입력을 수신할 수도 있다. 예를 들어, 이미지 시각화 조절기는 스와이프 방향 (swipe direction) 에서의 회전을 표시할 수도 있는 스와이프에 기초하여 이미지 시각화의 회전을 변경할 수도 있고, 멀티-터치 스와이프 (multi-touch swipe) (예컨대, 2-손가락 스와이프) 에 기초하여 이미지 시각화의 시프트를 변경할 수도 있고, 스와이프 방향에서의 시프트를 표시할 수도 있고, 및/또는 멀티-터치 집기 (pinch) 또는 펼침 (spread) 에 기초하여 이미지 시각화의 줌을 변경할 수도 있다.
일부 구성들에서, 이미지 시각화를 조절하는 것은 심도 정보에 기초하여 렌더링 기하구조들을 스위칭하는 것을 포함할 수도 있다. 예를 들어, 차량이 (전진방향 또는 후진방향으로) 벽에 접근하고 있을 경우, 렌더링 기하구조는 굴곡된 벽의 외관을 감소시키기 위하여 보울 형상으로부터 직사각형 형상으로 스위칭될 수도 있다.
일부 구성들에서, 이미지 시각화를 조절하는 것은 심도 정보에 기초하여 이미지 시각화에서의 하나 이상의 객체들을 표기 (mark) 및/또는 강조표시 (highlight) 하는 것을 포함할 수도 있다. 예를 들어, 이미지 시각화 조절기 (336) 는 심도 정보에 기초하여 하나 이상의 객체들을 강조 (예컨대, 윤곽 컬러 등) 할 수도 있다. 예를 들어, 이미지 시각화 조절기 (336) 는 전자 디바이스 (322) 로부터의 그 거리에 기초하여 하나 이상의 객체들을 녹색, 황색, 또는 적색으로 강조표시할 수도 있다. 예를 들어, 하나 이상의 거리 범위들 (예컨대, 거리 임계치들) 내의 객체들이 강조표시 (예컨대, "페인팅") 될 수도 있다. 하나의 접근법에서, 전자 디바이스 (322) 로부터 2 내지 3 미터 (m) 사이인 객체들은 녹색으로 강조표시될 수도 있고, 1 내지 2 m 사이의 객체들은 황색으로 강조표시될 수도 있고, 0 내지 1 m 사이의 객체들은 적색으로 강조표시될 수도 있다. 다른 컬러 연속체 (continuum) 들이 사용될 수도 있다. 이것은 심도를 제시하기 위하여 이미지 상에 정적 프레임 또는 라인들을 단지 오버레이하는 다른 접근법들과는 상이할 수도 있다.
일부 구성들에서, 이미지 시각화를 조절하는 것은 동적 데이터에 기초하여 수행될 수도 있다. 예를 들어, 이미지 시각화를 조절하는 것은 동적으로 감지된 심도 정보 (예컨대, 전자 디바이스 (322) 에 의해 동적으로, 실시간으로 획득되는 심도 정보, 실제 거리 정보, 일반적으로 표시되지 않는 맵 데이터 등) 에 기초하여 수행될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 일부 구성들에서 미리 결정된 심도 정보에 의존하지 않을 수도 있다. 일부 구성들에서, 이미지 시각화를 조절하는 것은 미리 결정된 맵 데이터에 기초하지 않을 수도 있거나, 미리 결정된 맵 데이터에 추가하여, 동적 심도 정보에 기초할 수도 있다. 이것은 이미지 시각화 조절이 변경되는 조건들에 대해 신축적이고 응답적인 것을 허용함으로써 유익할 수도 있다. 예를 들어, 전자 디바이스 (322) 가 전형적으로 또는 이력적으로 개방된 공간인 에어리어에 진입하더라도, 전자 디바이스 (322) 는 하나 이상의 객체들이 현재 인접할 경우 (예컨대, 하나 이상의 자동차들이 개방된 주변들을 갖는 도로 상에 인접하고, 새로운 건축물이 더 좁은 장면을 생성하였고, 보행자/자전거 이용자가 인접하게 보행하고 있고, 임시 건축물 장벽들이 인접해 있는 등) 에 더 좁은 뷰를 디스플레이하기 위하여 이미지 시각화를 여전히 조절할 수도 있다. 또한, 본원에서 개시된 시스템들 및 방법들은 심지어, 맵 또는 미리 결정된 데이터가 이용가능하지 않은 상황들에서 (예컨대, 맵 또는 미리 결정된 데이터를 가지지 않을 수도 있는 차고 또는 실내 주차 공간에서) 이미지 시각화를 조절하기 위하여 유익할 수도 있다.
이미지 시각화를 조절하는 것은 일부 구성들에서 이미지들을 합성하는 것을 포함하지 않을 수도 있다는 것이 주목되어야 한다. 예를 들어, 이미지 시각화를 조절하는 것은 이미지들을 스티칭 또는 리-스티칭 (re-stitching) 하는 것을 포함하지 않을 수도 있다. 일부 구성들에서, 합성된 이미지는 이미지 시각화를 조절하는 것으로부터 별도로 (예컨대, 그것에 기초하지 않고) 결정될 수도 있다. 예를 들어, 이미지 시각화를 조절하는 것은 이미지 (예컨대, 합성된 이미지) 에 대한 렌더링 기하구조를 변경할 수도 있지만, 이미지 데이터 (예컨대, 픽셀 데이터) 자체를 변경하지 않을 수도 있고 및/또는 다수의 이미지들이 어떻게 합성되는지를 변경하지 않을 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 하나 이상의 3D 모델들 (예컨대, 팝-업 항목들) 이미지 시각화의 3D 공간으로 삽입할 수도 있다. 모델 (들) 은 적어도 하나의 객체 (예컨대, 전자 디바이스 (322) 가 아닐 수도 있고 및/또는 전자 디바이스 (322) 에 결합되지 않을 수도 있는 장면에서의 객체) 에 대응할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 객체에 대응하는 이미지 데이터가 렌더링될 수도 있는 모델 (예컨대, 2D 모델, 3D 모델, 스프라이트 등) 을 생성할 수도 있다. 일부 구성들에서, 모델은 심도 정보에 기초하여 생성될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 하나 이상의 객체들의 로케이션, 크기, 및/또는 형상을 표현하는 하나 이상의 모델들을 생성할 수도 있다. 전자 디바이스 (322) 는 하나 이상의 모델들을 이미지 시각화의 3D 공간으로 삽입할 수도 있고, 및/또는 하나 이상의 모델들 상의 하나 이상의 객체들에 대응하는 이미지 데이터를 렌더링할 수도 있다. 하나 이상의 모델들은 이미지 시각화 내로 삽입된 미리 결정된 모델 (예컨대, 그 상에서 렌더링된 동적 또는 실시간 이미지 데이터를 가지지 않을 수도 있는 차량 또는 드론의 모델) 로부터 분리되어 있을 수도 있다는 것이 주목되어야 한다.
일부 접근법들에서, 심도 정보는 하나 이상의 이미지들 (예컨대, 합성된 이미지) 에 대응하는 심도 맵을 포함할 수도 있다. 전자 디바이스 (322) 는 (예를 들어, 임계치 거리 내에서) 심도 맵 내에 포함된 하나 이상의 객체들에 대한 하나 이상의 모델들을 생성할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 하나 이상의 객체들의 로케이션,크기, 및/또는 형상과 정합하는 (예컨대, 근사화하는) 하나 이상의 2D 및/또는 3D 모델들을 생성할 수도 있다. 하나의 예에서, 장면을 통해 주행하는 차량은 장벽, 사람, 나무, 및 건물에 인접할 수도 있다. 전자 디바이스 (322) 는 장벽, 사람, 나무, 및 건물의 로케이션 (예컨대, 거리), 크기, 및/또는 형상을 표시하는 심도 맵을 (입체적 삼각측량, 모션으로부터의 구조 (SfM), 적외선 비행 시간 카메라, 라이더, 및/또는 레이더 등을 통해) 획득할 수도 있다. 전자 디바이스 (322) 는 대응하는 로케이션들, 크기들, 및 형상들을 갖는 모델들을 이미지 시각화의 3D 공간으로 삽입할 수도 있다. 전자 디바이스 (322) 는 이미지 시각화에서의 대응하는 모델들 상의 장벽, 사람, 나무, 및 건물에 대응하는 이미지 데이터를 렌더링할 수도 있다. 이미지 시각화에서 하나 이상의 모델들을 삽입하는 것은 이미지 시각화에 심도의 감각을 부여할 수도 있다. 전자 디바이스 (322) 가 예를 들어, 장면을 통해 이동함에 따라, 이미지 시각화는 배경에 대하여 모델 (들) 을 갖는 시차 효과를 나타낼 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 하나 이상의 이미지들 (예컨대, 합성된 이미지) 에서 관심 영역 (ROI) 을 식별할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 하나 이상의 이미지들에 기초하여 및/또는 심도 정보에 기초하여 객체 검출을 수행할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 표지들, 도로 표지들, 교통 표지들, 교통 신호들, 사람들, 얼굴들, 심볼들 (예컨대, 글자들, 텍스트, 숫자들 등), 차량들, 건물들, 장애물들 등과 같은 객체들을 검출할 수도 있다. 전자 디바이스 (322) 는 검출된 객체에 기초하여 ROI 를 식별할 수도 있다. 예를 들어, ROI 는 검출된 객체에 대하여 확립되는 영역일 수도 있다. 일부 구성들에서, 전자 디바이스 (322) 는 경계설정 박스를 갖는 검출된 객체의 경계를 설정할 수도 있다. ROI 는 경계설정 박스 내에 포함된 영역일 수도 있다. 전자 디바이스 (322) 는 ROI 에 기초하여 이미지 시각화 (예컨대, 합성된 이미지 시각화) 의 적어도 부분을 주밍할 수도 있다. 하나의 예에서, 전자 디바이스 (322) (예컨대, 이미지 시각화 조절기 (336)) 는 ROI 를 확대하기 위하여 뷰포인트를 변경할 수도 있다. 또 다른 예에서, 전자 디바이스 (322) (예컨대, 이미지 시각화 조절기 (336)) 는 ROI 의 주밍된 버전을 제시하는 디스플레이 (340) 상에서 확대 윈도우를 생성할 수도 있다. 일부 구성들에서, 전자 디바이스 (322) (예컨대, 프로세서 (330) 및/또는 디스플레이 (340)) 는 확대 윈도우를 이미지 시각화에서의 ROI 의 로케이션에 연결하는 하나 이상의 라인들을 생성할 수도 있다.
메모리 (338) 는 명령들 및/또는 데이터를 저장할 수도 있다. 프로세서 (330) 는 메모리 (338) 를 액세스 (예컨대, 그것으로부터 판독 및/또는 그것에 기입) 할 수도 있다. 메모리 (338) 에 의해 저장될 수도 있는 명령들 및/또는 데이터의 예들은 이미지 데이터, 이미지 합성 데이터 (예컨대, 심 로케이션 데이터), 심도 정보, 이미지 시각화 데이터 (예컨대, 렌더링 기하구조 데이터, 렌더링 기하구조 파라미터들, 렌더링 기하구조 뷰포인트 데이터, 렌더링 기하구조 시프트 데이터, 렌더링 기하구조 회전 데이터 등), 객체 데이터 (예컨대, 로케이션, 크기, 형상 등), 모델 데이터, 합성된 이미지 획득기 (332) 명령들, 심도 정보 획득기 (334) 명령들, 및/또는 이미지 시각화 조절기 (336) 명령들 등을 포함할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 디스플레이 (340) 상에서 사용자 인터페이스 (342) 를 제시할 수도 있다. 예를 들어, 사용자 인터페이스 (342) 는 사용자가 전자 디바이스 (322) 와 상호작용하는 것을 가능하게 할 수도 있다. 일부 구성들에서, 사용자 인터페이스 (342) 는 사용자가 선호도를 표시하고 (예컨대, 이미지 시각화 설정들) 및/또는 이미지 시각화와 상호작용하는 것을 가능하게 할 수도 있다. 예를 들어, 사용자 인터페이스 (342) 는 이미지 시각화를 변경 (예컨대, 줌 인 또는 아웃, 이미지 시각화를 회전, 이미지 시각화를 시프트, 이미지 시각화 형상을 변경, 이미지 시각화 뷰포인트를 변경 등) 하기 위한 하나 이상의 커맨드들을 수신할 수도 있다. 추가적으로 또는 대안적으로, 사용자 인터페이스 (342) 는 이미지 시각화에서의 객체의 선택을 표시하는 입력 (예컨대, 탭 (tap)) 을 수신할 수도 있다. 일부 구성들에서, 선택된 객체는 추적될 수도 있다. 예를 들어, 선택된 객체는 다수의 카메라 뷰들 상에서 추적될 수도 있다. 추가적으로 또는 대안적으로, 이미지 시각화 조절기 (336) 는 선택된 객체에 기초하여 이미지 시각화를 조절할 수도 있다. 일부 접근법들에서, 이미지 시각화 조절기 (336) 는 선택된 객체에 기초하여 (추가적으로 또는 대안적으로, 예를 들어, 가장 근접한 객체 거리 및/또는 객체 거리 평균으로부터) 렌더링 기하구조를 조절할 수도 있다. 예를 들어, 이미지 시각화 조절기 (336) 는 (선택된 객체의 뷰를 유지하기 위하여, 선택된 객체의 왜곡을 감소시키기 위하여 등) 선택된 객체에 기초하여 렌더링 기하구조 형상, 크기, 뷰포인트, 시프트, 및/또는 회전을 조절할 수도 있다.
일부 구성들에서, 디스플레이 (340) 는 (예를 들어, 손가락, 스타일러스, 또는 다른 도구에 의한) 물리적 터치로부터 입력을 수신하는 터치스크린일 수도 있다. 예를 들어, 터치스크린은 이미지 시각화에 대한 사용자 선호도 (들) 및/또는 하나 이상의 수정들을 표시하는 터치 입력을 수신하는 입력 인터페이스일 수도 있다. 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 또 다른 입력 인터페이스를 포함할 수도 있거나 또 다른 입력 인터페이스에 결합될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 사용자와 대면하는 카메라를 포함할 수도 있고, 사용자 제스처들 (예컨대, 손 제스처들, 팔 제스처들, 시선 추적, 눈꺼풀 깜빡임 등) 을 검출할 수도 있다. 또 다른 예에서, 전자 디바이스 (322) 는 마우스에 결합될 수도 있고, 입력을 표시하는 마우스 클릭을 검출할 수도 있다.
사용자 입력은 일부 구성들에서 필요할 수도 있다는 것이 주목되어야 한다. 예를 들어, 전자 디바이스 (322) 는 본원에서 설명된 바와 같이 이미지 시각화를 자동으로 조절할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) (예컨대, 프로세서 (330)) 는 임의적으로, 진보된 운전자 보조 시스템 (advanced driver assistance system; ADAS) 에 결합될 수도 있고, 그 일부일 수도 있고 (예컨대, 그것 내로 통합됨), 그것을 포함할 수도 있고, 및/또는 그것을 구현할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 차량에서 (인-대시 (in-dash) 디스플레이, 콘솔 디스플레이, 윈드실드 프로젝터, 헤드-업 (heads-up) 디스플레이, 광학 헤드 장착형 디스플레이 등의 상에서) 이미지 시각화를 제시할 수도 있다. 이것은 상황 인지 및/또는 충돌 회피에 있어서 운전자를 보조할 수도 있다.
전자 디바이스 (322) (예컨대, 프로세서 (330)) 는 임의적으로, 하나 이상의 다른 종류들의 디바이스들에 결합될 수도 있고, 그 일부일 수도 있고 (예컨대, 그것 내로 통합됨), 그것을 포함할 수도 있고, 및/또는 그것을 구현할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 카메라들을 구비한 드론에서 구현될 수도 있다. 이미지 시각화 조절은 차원성 (예컨대, 높이, 심도 등) 의 더 큰 감각, 좁은 공간들에서의 더 양호한 세부사항, 및/또는 드론이 현재 이동하고 있는 개방된 공간들에서의 더 넓은 뷰들을 전달할 수도 있다. 또 다른 예에서, 전자 디바이스 (322) (예컨대, 프로세서 (330)) 는 (하나 이상의 이미지 센서들 및/또는 렌즈들을 포함하는) 액션 카메라에서 구현될 수도 있다. 이미지 시각화 조절은 광학 뷰들에서의 차원성 (예컨대, 높이, 심도 등) 의 더 큰 감각, 좁은 공간들에서의 더 양호한 세부사항, 및/또는 액션 카메라가 현재 이동하고 있는 개방된 공간들에서의 더 넓은 뷰들을 전달할 수도 있다.
도 4 는 이미지 시각화를 생성하기 위한 방법 (400) 의 하나의 구성을 예시하는 흐름도이다. 방법 (400) 은 예를 들어, 본원에서 설명된 전자 디바이스 (322) 에 의해 수행될 수도 있다.
전자 디바이스 (322) 는 합성된 이미지를 획득할 수도 있다 (402). 이것은 도 1 내지 도 3 중의 하나 이상과 관련하여 설명된 바와 같이 달성될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 합성된 이미지를 생성하기 위하여 하나 이상의 이미지 센서들로부터의 다수의 이미지들을 합성할 수도 있다. 일부 구성들에서, 전자 디바이스 (322) 는 이미지 정렬, 심 발견, 및/또는 병합을 수행할 수도 있다. 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 또 다른 디바이스로부터 하나 이상의 합성된 이미지들을 요청할 수도 있고 및/또는 수신할 수도 있다.
전자 디바이스 (322) 는 심도 정보를 획득할 수도 있다 (404). 이것은 도 3 과 관련하여 설명된 바와 같이 달성될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 하나 이상의 시각적 스펙트럼 카메라들로부터의 하나 이상의 이미지들에 기초하여 심도 정보를 획득할 수도 있다 (404). 이것은 입체적 삼각측량 및/또는 모션 정보를 통해 달성될 수도 있다. 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 하나 이상의 다른 심도 센서들 (예컨대, 비행 시간 카메라들, 간섭계들, 레이더, 라이더, 음파 심도 센서들, 초음파 심도 센서들 등) 로부터의 정보에 기초하여 심도 정보를 획득할 수도 있다 (404). 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 하나 이상의 심도 센서들 (예컨대, 하나 이상의 통합된 및/또는 원격 심도 센서들 및/또는 심도 감지 디바이스들) 로부터 직접적으로 심도 정보를 요청할 수도 있고 및/또는 수신할 수도 있다.
전자 디바이스 (322) 는 심도 정보에 기초하여 합성된 이미지 시각화를 조절할 수도 있다 (406). 이것은 도 3 과 관련하여 설명된 바와 같이 달성될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 심도 정보에 기초하여 합성된 이미지 시각화의 렌더링 기하구조, 뷰포인트, 회전, 및/또는 시프트를 조절할 수도 있다. 추가적으로 또는 대안적으로, 전자 디바이스 (322) 는 심도 정보에 기초하여 합성된 이미지 시각화에서 적어도 하나의 모델을 추가할 수도 있고, 렌더링 기하구조를 스위칭할 수도 있고, 및/또는 하나 이상의 객체들을 표기 (및/또는 강조표시) 할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 합성된 이미지 시각화를 디스플레이할 수도 있다. 이것은 도 3 과 관련하여 설명된 바와 같이 달성될 수도 있다. 예를 들어, 전자 디바이스 (322) (예컨대, 프로세서 (330)) 는 합성된 이미지 시각화를 디스플레이 (예컨대, 전자 디바이스 (322) 내에 포함된 디스플레이 (340), 또는 전자 디바이스 (322) 에 결합되고 및/또는 전자 디바이스 (322) 와 통신하는 디스플레이) 에 제공할 수도 있다. 디스플레이는 합성된 이미지 시각화를 제시할 수도 있다. 도 3 및 도 4 와 관련하여 설명된 기능들, 절차들, 및/또는 단계들 중의 하나 이상은 일부 구성들에서 단일 (예컨대, 비-합성된) 이미지 상에서 수행될 수도 있다는 것이 주목되어야 한다.
도 5 는 본원에서 개시된 시스템들 및 방법들에 따라 구현될 수도 있는 엘리먼트들 (562) 의 더 특정 예들을 예시하는 도면이다. 엘리먼트들 (562) 은 하나 이상의 카메라들 (546), 합성된 이미지 획득기 (532), 심도 정보 획득기 (534), 이미지 시각화 조절기 (536), 및/또는 디스플레이 (540) 를 포함할 수도 있다. 엘리먼트들 (562) 중의 하나 이상은 동일한 전자 디바이스들 상에서, 또는 별도의 전자 디바이스들 상에서 구현될 수도 있다. 일부 구성들에서, 엘리먼트들 (562) 중의 하나 이상은 도 3 과 관련하여 설명된 대응하는 엘리먼트들의 예들일 수도 있다. 예를 들어, 도 5 와 관련하여 설명된 엘리먼트들 (562) 중의 하나 이상은 도 3 과 관련하여 설명된 전자 디바이스 (322) 상에서 구현될 수도 있다.
하나 또는 다수의 카메라들 (546) 은 다수의 이미지들 (548) (예컨대, 카메라 입력들) 을 캡처할 수도 있다. 카메라들 (546) 은 도 3 과 관련하여 설명된 이미지 센서 (들) (324) 및 광학 시스템 (들) (326) 의 예들일 수도 있다. 예를 들어, 각각의 카메라 (546) 는 이미지 센서 및 광학 시스템을 포함할 수도 있다.
일부 구성들에서, 카메라 (들) (546) 는 상이하지만, 중첩하는 이미지들 (548) 을 캡처할 수도 있다. 일부 예들에서, 4 개의 카메라들 (546) 은 차량의 상이한 파트들 (예컨대, 측부들) 상에서 장착될 수도 있다. 예를 들어, 하나의 카메라 (546) 는 차량의 전방 상에서 장착될 수도 있고, 또 다른 카메라 (546) 는 차량의 우측 측부 (예컨대, 우측 측면-뷰 미러 하우징) 상에서 장착될 수도 있고, 또 다른 카메라 (546) 는 차량의 좌측 측부 (예컨대, 좌측 측면-뷰 미러 하우징) 상에서 장착될 수도 있고, 또 다른 카메라 (546) 는 차량의 후방 상에서 장착될 수도 있다. 이러한 방법으로, 4 개의 카메라들 (546) 은 차량을 둘러싸는 장면의 이미지들 (548) 을 캡처할 수도 있다.
다른 예들에서, 다수의 카메라들 (546) 은 다른 디바이스들 또는 본체들 상에서 장착될 수도 있다. 하나의 예에서, 다수의 카메라들 (546) 은 드론을 둘러싸는 장면의 이미지들 (548) 을 캡처하기 위하여 드론 상에서 장착될 수도 있다. 또 다른 예에서, 다수의 (액션) 카메라들 (546) 은 사용자를 둘러싸는 장면의 이미지들 (548) 을 캡처하기 위하여 사용자 (예컨대, 착용자) 에게 부착될 수도 있다. 또 다른 예들에서, 다수의 카메라들 (546) 은 스마트폰, 비디오 카메라, 스틸 카메라, 보안 카메라, 헤드-장착형 디바이스 (예컨대, 가상 현실 헤드셋, 증강 현실 헤드셋, 혼합 현실 헤드셋, 헬멧, 안경), 게이밍 디바이스, 텔레비전, 기기, 비행기, 보트, 오토바이, 주택, 건물, 무기 (예컨대, 화기) 등의 상의 상이한 로케이션들에서 장착될 수도 있다. 이 카메라들 (546) 은 카메라들 (546) 이 부착되는 디바이스 또는 본체 주위의 장면의 다수의 이미지들 (548) 을 캡처할 수도 있다. 예를 들어, 이미지들 (548) 은 장면의 인접한 및/또는 중첩하는 에어리어들을 묘사할 수도 있다. 또 다른 예들에서, 단일 카메라 (546) 는 상이한 위치들로 회전될 수도 있고 및/또는 이동될 수도 있고, 일련의 중첩하는 이미지들 (548) 을 캡처할 수도 있다. 이미지들 (548) 은 디바이스 또는 본체의 측부들, 위에, 및/또는 아래의 에어리어들 중의 임의의 것 또는 전부를 묘사할 수도 있다. 이미지 (548) 는 심도 정보 획득기 (534) 및/또는 합성된 이미지 획득기 (532) 에 제공될 수도 있다.
합성된 이미지 획득기 (532) 는 이미지들 (548) 에 기초하여 합성된 이미지 (550) 를 생성할 수도 있다. 예를 들어, 합성된 이미지 획득기 (532) 는 이미지들 (548) 의 장면 뷰들로부터 단일 연속적인 합성된 이미지 (550) 를 생성하기 위하여 이미지들 (548) 을 병합할 수도 있다. 도 5 와 관련하여 설명된 합성된 이미지 획득기 (532) 는 도 3 과 관련하여 설명된 합성된 이미지 획득기 (332) 의 예일 수도 있다. 합성된 이미지 획득기 (532) 는 위에서 설명된 바와 같이 이미지 정렬 (예컨대, 등록), 심 발견, 및/또는 병합을 수행할 수도 있다. (예를 들어, 이미지 정렬 및/또는 심 발견이 미리 결정되는) 일부 구성들에서, 합성된 이미지 획득기 (532) 는 이미지들 (548) 을 직접적으로 병합할 수도 있다. 합성된 이미지 (550) 는 이미지 시각화 조절기 (536) 에 제공될 수도 있다.
심도 정보 획득기 (534) 는 이미지들 (548) 에 기초하여 심도 정보 (554) 를 획득할 수도 있다. 도 5 와 관련하여 설명된 심도 정보 획득기 (534) 는 도 3 과 관련하여 설명된 심도 정보 획득기 (334) 의 예일 수도 있다. 예를 들어, 심도 정보 획득기 (534) 는 입체적 삼각측량, 모션 정보, 및 다른 심도 감지에 기초하여 심도 정보 (554) 를 획득할 수도 있다. 심도 정보 (554) 는 이미지 시각화 조절기 (536) 에 제공될 수도 있다.
이미지 시각화 조절기 (536) 는 합성된 이미지 (550) 및/또는 심도 정보 (554) 에 기초하여 합성된 이미지 시각화 (560) 를 생성할 수도 있고 및/또는 조절할 수도 있다. 도 5 와 관련하여 설명된 이미지 시각화 조절기 (536) 는 도 3 과 관련하여 설명된 이미지 시각화 조절기 (336) 의 하나의 예일 수도 있다.
일부 구성들에서, 이미지 시각화 조절기 (536) 는 합성된 이미지 (550) 를 렌더링 기하구조 (556) 상으로 렌더링할 수도 있다. 예를 들어, 렌더링 기하구조 (556) 는 합성된 이미지 (550) 가 그 상으로 렌더링 (예컨대, 투영, 맵핑 등) 될 수도 있는 형상일 수도 있다. 이미지 시각화 조절기 (536) 는 하나 이상의 렌더링 기하구조들 (556) 을 사용할 수도 있다는 것이 주목되어야 한다. 예를 들어, 합성된 이미지 (550) 는 서라운드 뷰 합성된 이미지 시각화를 생성하기 위하여 렌더링 기하구조들 (556) 중의 하나 이상 상으로 렌더링될 수도 있다. 예를 들어, 서라운드 뷰 합성된 이미지 시각화는 차량을 둘러싸는 장면을 도시할 수도 있다.
이미지 시각화 조절기 (536) 는 도 3 과 관련하여 설명된 바와 같이 심도 정보 (554) 에 기초하여 합성된 이미지 시각화 (예컨대, 서라운드 뷰 합성된 이미지 시각화) 를 적응적으로 조절할 수도 있다. 예를 들어, 조절은 하나 이상의 서라운딩 객체들의 가장 근접한 및/또는 평균 심도에 기초할 수도 있다. 예를 들어, 이미지 시각화 조절기 (536) 는 환경에 맞추기 위하여 렌더링 기하구조 (556) (예컨대, 보울 또는 다른 3D 모델) 를 설정할 수도 있다.
일부 구성들에서, 이미지 시각화 조절기 (536) 는 심도 정보 (554) 에 기초하여 합성된 이미지 시각화의 렌더링 기하구조 (556), 뷰포인트, 회전, 및/또는 시프트를 조절할 수도 있다. 추가적으로 또는 대안적으로, 이미지 시각화 조절기 (536) 는 심도 정보 (554) 에 기초하여 합성된 이미지 시각화에서 적어도 하나의 모델을 삽입할 수도 있고, 렌더링 기하구조 (556) 를 스위칭할 수도 있고, 및/또는 하나 이상의 객체들을 표기 (및/또는 강조표시) 할 수도 있다. 추가적으로 또는 대안적으로, 이미지 시각화 조절기 (536) 는 (예를 들어, 객체 검출에 기초하여) ROI 를 식별할 수도 있다. 이미지 시각화 조절기 (536) 는 임의적으로, ROI 의 주밍된 버전을 제시하는 확대 윈도우를 생성할 수도 있다.
일부 구성들에서, 이미지 시각화 조절기 (536) 는 모델 삽입기 (558) 를 포함할 수도 있다. 모델 삽입기 (558) 는 도 3 과 관련하여 위에서 설명된 바와 같이 객체에 대응하는 적어도 하나의 모델을 삽입할 수도 있다. 예를 들어, 모델 삽입기 (558) 는 렌더링 기하구조 (556) (예컨대, 보울 또는 다른 3D 모델) 로부터 팝-업하기 위하여 보이는 하나 이상의 특정 객체들 또는 일부 장면 내용의 팝-업 3D 효과를 생성할 수도 있다.
결과적인 합성된 이미지 시각화 (560) 는 디스플레이 (540) 에 제공될 수도 있다. 도 5 와 관련하여 설명된 디스플레이 (540) 는 도 3 과 관련하여 설명된 디스플레이 (340) 의 예일 수도 있다. 디스플레이 (540) 는 합성된 이미지 시각화 (560) 를 제시할 수도 있다.
도 6 은 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화 (668) 의 하나의 예를 예시한다. 합성된 이미지 시각화 (668) 는 서라운드 뷰 (예컨대, 보울 형상) 이다. 이 예에서, 차량 (606) 은 몇몇 카메라들 (예컨대, 4: 전방에 장착된 하나, 우측에 장착된 하나, 좌측에 장착된 하나, 및 후방에 장착된 하나) 을 포함할 수도 있다. 카메라들로부터 취해진 이미지들은 합성된 이미지를 생성하기 위하여 위에서 설명된 바와 같이 합성될 수도 있다. 합성된 이미지는 렌더링 기하구조 (620) 상에서 렌더링될 수도 있다. 이 예에서, 차량 (606) 은 가장 근접한 객체 (예컨대, 우편함) 가 차량 (606) 으로부터 상대적으로 큰 거리 (664) (예컨대, 6 m) 에 있다는 것을 표시하는 심도 정보를 획득할 수도 있다. 차량 (606) 은 이미지 시각화에서의 실제적인 차량 (606) 의 모델 또는 표현으로서 도시 (예컨대 삽입) 될 수도 있다는 것이 주목되어야 한다.
도 6 에서 관찰될 수 있는 바와 같이, 렌더링 기하구조 (620) 의 전이 에지 (666) 는 렌더링 기하구조 (620) 의 기저부 직경 (665) 이 거의 가장 근접한 객체 거리로 확장하도록 조절될 수도 있다. 추가적으로, 뷰포인트는 시야각 (viewing angle) 이 차량 (606) 의 약간 위 및 아래에 있으면서, 지면에 대해 상대적으로 낮도록 조절될 수도 있다. 이 조절들은 합성된 이미지 시각화 (668) 가 더 자연스럽게 보이는 것을 허용하여, 멀리 있는 나무들 및 건물들이 높이의 감각을 가진다. 다른 접근법들에서, (전체적인 렌더링 기하구조에 걸친) 직경은 추가적으로 또는 대안적으로, 심도 정보에 기초하여 (예컨대, 가장 근접한 객체 거리 및/또는 평균 객체 거리에 대하여) 조절될 수도 있다. 예를 들어, 직경은 가장 근접한 객체 거리 또는 평균 객체 거리에 대응 (또는 그것으로부터 약간의 범위 내에 있음) 하도록 조절될 수도 있다.
도 7 은 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화 (768) 의 또 다른 예를 예시한다. 합성된 이미지 시각화 (768) 는 서라운드 뷰 (예컨대, 보울 형상) 이다. 이 예에서, 차량 (706) 은 몇몇 카메라들 (예컨대, 4: 전방에 장착된 하나, 우측에 장착된 하나, 좌측에 장착된 하나, 및 후방에 장착된 하나) 을 포함할 수도 있다. 카메라들로부터 취해진 이미지들은 합성된 이미지를 생성하기 위하여 위에서 설명된 바와 같이 합성될 수도 있다. 합성된 이미지는 렌더링 기하구조 (720) 상에서 렌더링될 수도 있다. 이 예에서, 차량 (706) 은 가장 근접한 객체 (예컨대, 장벽) 가 차량 (706) 으로부터 중간 거리 (764) (예컨대, 3 m) 에 있다는 것을 표시하는 심도 정보를 획득할 수도 있다. 차량 (706) 은 이미지 시각화에서의 실제적인 차량 (706) 의 모델 또는 표현으로서 도시 (예컨대 삽입) 될 수도 있다는 것이 주목되어야 한다.
도 7 에서 관찰될 수 있는 바와 같이, 렌더링 기하구조 (720) 의 전이 에지 (766) 는 렌더링 기하구조 (720) 의 기저부 직경 (765) 이 거의 가장 근접한 객체로 확장하도록 조절될 수도 있다. 추가적으로, 뷰포인트는 시야각이 차량 (706) 의 위에 있으면서, 지면에 대해 수직이도록 (예컨대, 상부-다운) 조절될 수도 있다. 이 조절들은 합성된 이미지 시각화 (768) 가 나무들 및 건물이 높이의 감각을 가지는 것을 여전히 허용하면서, 전체 차량 원주 주위를 도시하는 것을 허용한다. 이것은 운전자가 주차장에서 찾아가는 것 (예컨대, 후진하는 것, 중간 거리에서 객체들을 선회시키는 것 등) 을 보조할 수도 있다.
도 8 은 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화 (868) 의 또 다른 예를 예시한다. 합성된 이미지 시각화 (868) 는 서라운드 뷰 (예컨대, 보울 형상) 이다. 이 예에서, 차량 (806) 은 몇몇 카메라들 (예컨대, 4: 전방에 장착된 하나, 우측에 장착된 하나, 좌측에 장착된 하나, 및 후방에 장착된 하나) 을 포함할 수도 있다. 카메라들로부터 취해진 이미지들은 합성된 이미지를 생성하기 위하여 위에서 설명된 바와 같이 합성될 수도 있다. 합성된 이미지는 렌더링 기하구조 (820) 상에서 렌더링될 수도 있다. 이 예에서, 차량 (806) 은 가장 근접한 객체 (예컨대, 측부까지의 벽) 가 차량 (806) 으로부터 근접한 거리 (864a) (예컨대, 대략 1.5 m) 에 있다는 것을 표시하는 심도 정보를 획득할 수도 있다. 추가로 관찰될 수 있는 바와 같이, 차량 (806) 의 전방에서의 가장 근접한 객체까지의 거리 (864b) 는 상대적으로 크다 (대략 8 m). 이 예에서, 렌더링 기하구조 (820) 의 기저부는 형상에 있어서 타원형이 되도록 조절될 수도 있어서, 합성된 이미지 시각화 (868) 가 지면 상에서의 왜곡의 외관을 감소시키면서, 차량 (806) 의 측부들까지의 벽들 및 차량 (806) 의 전방에서 벽에 높이의 감각을 부여하는 것을 허용할 수도 있다.
도 8 에서 관찰될 수 있는 바와 같이, 렌더링 기하구조 (820) 의 전이 에지 (866) 는, 렌더링 기하구조 (820) 의 기저부 길이 (865a) 가 거의 차량 (806) 의 전방에서의 벽으로 확장하고 렌더링 기하구조 (820) 의 기저부 폭 (865b) 이 거의 차량 (806) 의 측부 상으로 확장하도록 조절될 수도 있다. 추가적으로, 뷰포인트는 시야각이 차량 (806) 의 위에 있으면서, 지면에 대해 높도록 (예컨대, 대략 70 도) 조절될 수도 있다. 이 조절들은 합성된 이미지 시각화 (868) 가 벽이 높이의 감각을 가지는 것을 허용하면서, 벽이 얼마나 근접한지를 강조하는 것을 허용한다. 이것은 운전자가 근접한 복도 또는 차고에서 찾아가는 것을 보조할 수도 있다.
도 9 는 본원에서 개시된 시스템들 및 방법들에 따라 합성된 이미지 시각화 (968) 의 또 다른 예를 예시한다. 합성된 이미지 시각화 (968) 는 서라운드 뷰 (예컨대, 보울 형상) 이다. 이 예에서, 차량 (906) 은 몇몇 카메라들 (예컨대, 4: 전방에 장착된 하나, 우측에 장착된 하나, 좌측에 장착된 하나, 및 후방에 장착된 하나) 을 포함할 수도 있다. 카메라들로부터 취해진 이미지들은 합성된 이미지를 생성하기 위하여 위에서 설명된 바와 같이 합성될 수도 있다. 합성된 이미지는 렌더링 기하구조 (920) 상에서 렌더링될 수도 있다. 이 예에서, 차량 (906) 은 나무 (970) 및 일부 건물들 (972a, 972b) 까지의 거리들을 표시하는 심도 정보를 획득할 수도 있다.
모델들은 렌더링 기하구조 (920) 내로 삽입될 수도 있다. 예시된 바와 같이, 나무 (970) 및 건물들 (972a, 972b) 에 대응하는 이미지 데이터는 모델들 상에서 렌더링될 수도 있다. 이것은 합성된 이미지 시각화 (968) 에서 3D 효과를 제공할 수도 있다.
도 10 은 이미지 시각화를 생성하기 위한 방법 (1000) 의 더 특정 구성을 예시하는 흐름도이다. 방법 (1000) 은 예를 들어, 본원에서 설명된 전자 디바이스 (322) 에 의해 수행될 수도 있다.
전자 디바이스 (322) 는 합성된 이미지를 획득할 수도 있다 (1002). 이것은 도 1 내지 도 4 중의 하나 이상과 관련하여 설명된 바와 같이 달성될 수도 있다.
전자 디바이스 (322) 는 심도 정보를 획득할 수도 있다 (1004). 이것은 도 3 및 도 4 중의 하나 이상과 관련하여 설명된 바와 같이 달성될 수도 있다.
전자 디바이스 (322) 는 하나 이상의 전경 객체들 및/또는 하나 이상의 배경 객체들을 결정할 수도 있다 (1006). 예를 들어, 전자 디바이스 (322) 는 장면에서의 (만약 있다면) 하나 이상의 객체들 중의 어느 것이 전경 객체들이고 배경 객체들인지를 결정할 수도 있다 (1006). 위에서 설명된 바와 같이, 예를 들어, 카메라 파라미터들 (예컨대, 사전-계산된 카메라 파라미터들) 및/또는 상대적인 로케이션 거리는 심도 맵 (예컨대, 합성된 심도 맵) 을 구성하고 장면 거리를 계산하기 위하여 사용될 수도 있다. 장면은 멀리 있는 건물들, 나무들 등과 같은 배경 객체들을 포함할 수도 있다. 장면은 추가적으로 또는 대안적으로, 보행자들 및 차량들과 같은 전경 객체들을 포함할 수도 있다. 장면에서 검출된 객체들 중에서, 전자 디바이스 (322) (예컨대, 심도 정보 획득기 (334) 는 어느 객체 (들) 가 전경 객체 (들) 인지 및/또는 어느 객체 (들) 가 배경 객체들인지를 결정할 수도 있다. 예를 들어, 전자 디바이스 (322) 는 객체들을 전경 객체 및 배경 객체 카테고리들로 소팅 (sorting) 할 수도 있다. 일부 접근법들에서, 전자 디바이스 (322) (예컨대, 심도 정보 획득기 (334)) 는 임계치 거리보다 더 근접한 임의의 객체들을 배경 객체들로서, 그리고 임계치 거리보다 더 먼 임의의 객체들을 배경 객체들인 것으로 식별할 수도 있다. 일부 구성들에서는, (예를 들어, 전경 객체들이 보행자들 및 차량들과 같은 이동하는 객체들일 수도 있으므로) 고정된 임계치 거리가 없을 수도 있다.
전자 디바이스 (322) 는 이미지 (예컨대, 합성된 이미지) 에서 임의의 전경 객체가 있는지 여부를 결정할 수도 있다 (1008). 적어도 하나의 전경 객체가 있을 경우, 전자 디바이스 (322) (예컨대, 이미지 시각화 조절기 (336)) 는 하나 이상의 전경 객체 거리들에 기초하여 이미지 시각화를 조절할 수도 있다 (1010). 예를 들어, 전자 디바이스 (322) 는 가장 근접한 전경 객체 거리 및/또는 전경 객체들의 평균 거리에 기초하여 이미지 시각화를 조절할 수도 있다 (1010).
(예컨대, 기하구조 폭을 정의하는) 렌더링 기하구조를 조절하기 위한 일부 접근법들은 평균 전경 객체 심도 (예컨대, 모든 전경 객체 거리들의 평균) 에 기초할 수도 있다. 예를 들어, 평균 전경 객체 심도는
Figure pct00002
으로서 정의될 수도 있고, 여기서, di 는 전경 객체까지의 거리이고, 인덱스 i 및 N 은 전경 객체들의 총 수이다. di < D 에 대한 하나 이상의 전경 객체들은 렌더링 기하구조를 제어하기 위하여 사용될 수도 있다. 예를 들어, 전자 디바이스 (322) 는 가장 근접한 전경 객체 거리 또는 평균 전경 객체 거리에 대하여 (예컨대, 파라미터들이 상기 거리에 대응하거나 상기 거리의 일부 범위 내에 있도록) 렌더링 기하구조의 하나 이상의 파라미터들 (예컨대, 직경, 반경, 폭, 길이, 굴곡된 표면 각도 등) 을 조절할 수도 있다.
이미지에서 전경 객체들이 없을 경우 (예컨대, di = 0 이고 D = 0), 전자 디바이스 (322) (예컨대, 이미지 시각화 조절기 (336)) 는 하나 이상의 배경 객체 거리들에 기초하여 이미지 시각화 (예컨대, 합성된 이미지 시각화) 를 조절할 수도 있다 (1012). 예를 들어, 전자 디바이스 (322) 는 렌더링 기하구조의 차원이 가장 근접한 배경 객체 거리 또는 평균 배경 객체 거리와 동일 (또는 그 일부 범위 내에 있음) 하도록 하나 이상의 파라미터들 (예컨대, 직경) 을 조절할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 위에서 설명된 바와 같이 하나 이상의 추가적인 조절들을 수행할 수도 있다는 것이 주목되어야 한다. 예를 들어, 전자 디바이스 (322) 는 모델 (예컨대, 특정 객체 또는 일부 장면 내용 또는 다른 3D 모델의 팝-업 3D 효과) 을 삽입할 수도 있다. 본원에서 설명된 조절들 중의 하나 이상은 동적 및 실시간 장면에 기초할 수도 있다.
일부 구성들에서, 전자 디바이스 (322) 는 합성된 이미지 시각화를 디스플레이할 수도 있다 (1014). 이것은 도 3 및 도 4 중의 하나 이상과 관련하여 설명된 바와 같이 달성될 수도 있다.
도 11 은 본원에서 개시된 시스템들 및 방법들의 다양한 구성들을 구현하도록 구성된 전자 디바이스 (1122) 내에 포함될 수도 있는 어떤 컴포넌트들을 예시한다. 전자 디바이스 (1122) 의 예들은 카메라들, 비디오 캠코더들, 디지털 카메라들, 셀룰러 전화들, 스마트폰들, 컴퓨터들 (예컨대, 데스크톱 컴퓨터들, 랩톱 컴퓨터들 등), 태블릿 디바이스들, 미디어 플레이어들, 텔레비전들, 차량들, 자동차들, 개인용 카메라들, 웨어러블 카메라들, 가상 현실 디바이스들 (예컨대, 헤드셋들), 증강 현실 디바이스들 (예컨대, 헤드셋들), 혼합 현실 디바이스들 (예컨대, 헤드셋들), 액션 카메라들, 감시 카메라들, 장착된 카메라들, 접속된 카메라들, 로봇들, 항공기, 드론들, 무인 항공기 (UAV) 들, 스마트 기기들, 건강관리 장비, 게이밍 콘솔들, 개인 정보 단말 (PDA) 들, 셋톱 박스들 등을 포함할 수도 있다. 전자 디바이스 (1122) 는 도 3 과 관련하여 설명된 전자 디바이스 (322) 에 따라 구현될 수도 있다. 전자 디바이스 (1122) 는 프로세서 (1101) 를 포함한다. 프로세서 (1101) 는 범용 단일-칩 또는 멀티-칩 마이크로프로세서 (예컨대, ARM), 특수 목적 마이크로프로세서 (예컨대, 디지털 신호 프로세서 (digital signal processor; DSP)), 마이크로제어기, 프로그래밍가능 게이트 어레이 등일 수도 있다. 프로세서 (1101) 는 중앙 처리 유닛 (CPU) 으로서 지칭될 수도 있다. 단지 단일 프로세서 (1101) 가 전자 디바이스 (1122) 에서 도시되어 있지만, 대안적인 구성에서는, 프로세서들 (예컨대, ARM 및 DSP) 의 조합이 구현될 수 있다.
전자 디바이스 (1122) 는 또한, 메모리 (1180) 를 포함한다. 메모리 (1180) 는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트일 수도 있다. 메모리 (1180) 는 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 자기디스크 저장 매체들, 광학 저장 매체들, RAM 에서의 플래시 메모리 디바이스들, 프로세서와 함께 포함된 온-보드 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 및 그 조합들을 포함하는 기타 등등으로서 구체화될 수도 있다.
데이터 (1184a) 및 명령들 (1182a) 은 메모리 (1180) 내에 저장될 수도 있다. 명령들 (1182a) 은 본원에서 설명된 방법들 (예컨대, 방법 (400), 방법 (1000)), 절차들, 단계들, 및/또는 기능들 중의 하나 이상을 구현하기 위하여 프로세서 (1101) 에 의해 실행가능할 수도 있다. 명령들 (1182a) 을 실행하는 것은 메모리 (1180) 내에 저장되는 데이터 (1184a) 의 이용을 수반할 수도 있다. 프로세서 (1101) 가 명령들 (1182) 을 실행할 때, 명령들 (1182b) 의 다양한 부분들은 프로세서 (1101) 상으로 로딩될 수도 있고, 데이터 (1184b) 의 다양한 피스 (piece) 들은 프로세서 (1101) 상으로 로딩될 수도 있다.
전자 디바이스 (1122) 는 또한, 전자 디바이스 (1122) 로의 신호의 송신 및 전자 디바이스 (1122) 로부터의 신호의 수신을 허용하기 위하여 송신기 (1190) 및 수신기 (1192) 를 포함할 수도 있다. 송신기 (1190) 및 수신기 (1192) 는 트랜시버 (1194) 로서 집합적으로 지칭될 수도 있다. 하나 이상의 안테나들 (1188a 내지 1188b) 은 트랜시버 (1194) 에 전기적으로 결합될 수도 있다. 전자 디바이스 (1122) 는 또한, (도시되지 않은) 다수의 송신기들, 다수의 수신기들, 다수의 트랜시버들, 및/또는 추가적인 안테나들을 포함할 수도 있다.
전자 디바이스 (1122) 는 디지털 신호 프로세서 (DSP) (1196) 를 포함할 수도 있다. 전자 디바이스 (1122) 는 또한, 통신 인터페이스 (1198) 를 포함할 수도 있다. 통신 인터페이스 (1198) 는 하나 이상의 종류들의 입력 및/또는 출력을 허용할 수도 있고 및/또는 가능하게 할 수도 있다. 예를 들어, 통신 인터페이스 (1198) 는 다른 디바이스들을 전자 디바이스 (1122) 에 링크하기 위한 하나 이상의 포트들 및/또는 통신 디바이스들을 포함할 수도 있다. 일부 구성들에서, 통신 인터페이스 (1198) 는 송신기 (1190), 수신기 (1192), 또는 양자 (예컨대, 트랜시버 (1194)) 를 포함할 수도 있다. 추가적으로 또는 대안적으로, 통신 인터페이스 (1198) 는 하나 이상의 다른 인터페이스들 (예컨대, 터치스크린, 키패드, 키보드, 마이크로폰, 카메라 등) 을 포함할 수도 있다. 예를 들어, 통신 인터페이스 (1198) 는 사용자가 전자 디바이스 (1122) 와 상호작용하는 것을 가능하게 할 수도 있다.
전자 디바이스 (1122) 의 다양한 컴포넌트들은 하나 이상의 버스들에 의해 함께 결합될 수도 있으며, 버스들은 전력 버스, 제어 신호 버스, 상태 신호 버스, 데이터 버스 등을 포함할 수도 있다. 간결성을 위하여, 다양한 버스들은 도 11 에서 버스 시스템 (1186) 으로서 예시되어 있다.
용어 "결정하는 것" 은 광범위한 액션들을 포괄하고, 그러므로, "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 유도하는 것, 조사하는 것, 룩업하는 것 (예컨대, 테이블, 데이터베이스 또는 또 다른 데이터 구조에서 룩업하는 것), 확인하는 것 및 기타 등등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예컨대, 정보를 수신하는 것), 액세스하는 것 (예컨대, 메모리 내의 데이터를 액세스하는 것) 및 기타 등등을 포함할 수 있다. 또한, "결정하는 것" 은 분석하는 것, 선택하는 것, 선정하는 것, 설정하는 것 등을 포함할 수 있다.
어구 “에 기초하여” 는 명백히 이와 달리 규정되지 않는 한, "에 오직 기초하여" 를 의미하지 않는다. 다시 말해서, 어구 "~ 에 기초하여" 는 "~ 에 오직 기초하여" 및 "~ 에 적어도 기초하여" 의 양자를 설명한다.
용어 "프로세서" 는 범용 프로세서, 중앙 프로세싱 유닛 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 망라하도록 폭넓게 해독되어야 한다. 일부 상황들에서, "프로세서" 는 애플리케이션 특정 집적 회로 (ASIC), 프로그래밍가능 로직 디바이스 (programmable logic device; PLD), 필드 프로그래밍가능 게이트 어레이 (field programmable gate array; FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는 프로세싱 디바이스들의 조합, 예컨대, DSP 및 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 함께 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성의 조합을 지칭할 수도 있다.
용어 "메모리" 는 전자 정보를 저장할 수 있는 임의의 전자 컴포넌트를 망라하도록 폭넓게 해독되어야 한다. 용어 메모리는 랜덤 액세스 메모리 (random access memory; RAM), 판독-전용 메모리 (read-only memory; ROM), 비-휘발성 랜덤 액세스 메모리 (non-volatile random access memory; NVRAM), 프로그래밍가능 판독-전용 메모리 (programmable read-only memory; PROM), 소거가능 프로그래밍가능 판독-전용 메모리 (erasable programmable read-only memory; EPROM), 전기적 소거가능 PROM (electrically erasable PROM; EEPROM), 플래시 메모리, 자기 또는 광학 데이터 스토리지, 레지스터들 등과 같은 다양한 타입들의 프로세서-판독가능 매체들을 지칭할 수도 있다. 메모리는 프로세서가 메모리로부터 정보를 판독할 수 있고 및/또는 정보를 메모리에 기록할 수 있을 경우에 프로세서와 전자 통신하는 것으로 말해진다. 프로세서와 일체적인 메모리는 프로세서와 전자 통신한다.
용어들 "명령들" 및 "코드" 는 임의의 타입의 컴퓨터-판독가능 명령문 (들) 을 포함하도록 폭넓게 해독되어야 한다. 예를 들어, 용어들 "명령들" 및 "코드" 는 하나 이상의 프로그램들, 루틴들, 서브-루틴들, 함수들, 프로시저 (procedure) 들 등을 지칭할 수도 있다. "명령들" 및 "코드" 는 단일 컴퓨터-판독가능 명령문 또는 다수의 컴퓨터-판독가능 명령문들을 포함할 수도 있다.
본원에서 설명된 기능들은 하드웨어에 의해 실행되는 소프트웨어 또는 펌웨어로 구현될 수도 있다. 기능들은 컴퓨터-판독가능 매체 상에서 하나 이상의 명령들로서 저장될 수도 있다. 용어들 "컴퓨터-판독가능 매체" 또는 "컴퓨터 프로그램 제품" 은 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 유형의 저장 매체를 지칭한다. 제한이 아닌 예로서, 컴퓨터-판독가능 매체는 명령들 또는 데이터 구조들의 형태로 희망하는 프로그램 코드를 반송하거나 저장하기 위하여 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 매체를 포함할 수도 있다. 컴퓨터-판독가능 매체는 유형적이고 비일시적일 수도 있다는 것이 주목되어야 한다. 용어 "컴퓨터 프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행될 수도 있거나, 프로세싱될 수도 있거나, 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예컨대, "프로그램") 과 조합하여 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본원에서 이용된 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드, 또는 데이터를 지칭할 수도 있다.
소프트웨어 또는 명령들은 또한, 송신 매체 상에서 송신될 수도 있다. 예를 들어, 동축 케이블, 광섬유 케이블, 트위스트 페어(twisted pair), 디지털 가입자 회선(digital subscriber line; DSL), 또는 적외선, 라디오(radio), 및 마이크로파(microwave) 와 같은 무선 기술들을 이용하여, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 송신될 경우, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL, 또는 적외선, 라디오, 및 마이크로파와 같은 무선 기술들은 송신 매체의 정의 내에 포함된다.
본원에서 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 이탈하지 않으면서 서로 상호 교환될 수도 있다. 다시 말해서, 설명되고 있는 방법의 적당한 동작을 위하여 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 이탈하지 않으면서 수정될 수도 있다.
또한, 본원에서 설명된 방법들 및 기법들을 수행하기 위한 모듈들 및/또는 다른 적절한 수단은 디바이스에 의해 다운로딩될 수 있고 및/또는 그렇지 않을 경우에 획득될 수 있다는 것이 인식되어야 한다. 예를 들어, 디바이스는 본원에서 설명된 방법들을 수행하기 위한 수단의 전달을 용이하게 하기 위하여 서버에 결합될 수도 있다. 대안적으로, 본원에서 설명된 다양한 방법들은 저장 수단 (예컨대, 랜덤 액세스 메모리(RAM), 판독-전용 메모리 (ROM), 컴팩트 디스크 (CD) 또는 플로피 디스크와 같은 물리적 저장 매체 등) 을 통해 제공될 수 있어서, 디바이스는 저장 수단을 디바이스에 결합하거나 제공할 시에 다양한 방법들을 획득할 수도 있다.
청구항들은 위에서 예시된 정확한 구성 및 컴폰너트들에 제한되지 않는다는 것이 이해되어야 한다. 청구항들의 범위로부터 이탈하지 않으면서, 본원에서 설명된 시스템들, 방법들, 및 장치의 배열, 동작, 및 세부사항들에서 다양한 수정들, 변경들, 및 변동들이 행해질 수도 있다.

Claims (30)

  1. 전자 디바이스에 의해 수행된 방법으로서,
    합성된 이미지를 획득하는 단계로서, 상기 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함하는, 상기 합성된 이미지를 획득하는 단계;
    심도 정보를 획득하는 단계로서, 상기 심도 정보는 심도 센서와 상기 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초하는, 상기 심도 정보를 획득하는 단계; 및
    상기 심도 정보에 기초하여 합성된 이미지 시각화를 조절하는 단계를 포함하는, 전자 디바이스에 의해 수행된 방법.
  2. 제 1 항에 있어서,
    상기 합성된 이미지 시각화를 조절하는 단계는 상기 심도 정보에 기초하여 렌더링 기하구조 (rendering geometry) 를 조절하는 단계를 포함하는, 전자 디바이스에 의해 수행된 방법.
  3. 제 2 항에 있어서,
    상기 합성된 이미지 시각화를 조절하는 단계는 상기 적어도 하나의 객체가 상기 렌더링 기하구조의 수직 부분 상에서 렌더링되도록, 상기 렌더링 기하구조를 조절하는 단계를 포함하는, 전자 디바이스에 의해 수행된 방법.
  4. 제 1 항에 있어서,
    적어도 하나의 모델을 상기 이미지 시각화의 3 차원 공간으로 삽입하는 단계로서, 상기 모델은 상기 적어도 하나의 객체에 대응하는, 상기 삽입하는 단계를 더 포함하는, 전자 디바이스에 의해 수행된 방법.
  5. 제 1 항에 있어서,
    상기 심도 정보는 상기 심도 센서와 가장 근접한 객체 사이의 거리를 표시하는, 전자 디바이스에 의해 수행된 방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 객체는 복수의 객체들을 포함하고, 상기 심도 정보는 상기 심도 센서와 상기 복수의 객체들 사이의 평균 객체 거리를 표시하는, 전자 디바이스에 의해 수행된 방법.
  7. 제 1 항에 있어서,
    상기 심도 정보는 동적인, 전자 디바이스에 의해 수행된 방법.
  8. 제 1 항에 있어서,
    객체 검출에 기초하여 관심 영역을 식별하는 단계; 및
    상기 관심 영역에 기초하여 상기 합성된 이미지 시각화의 적어도 부분을 주밍하는 단계를 더 포함하는, 전자 디바이스에 의해 수행된 방법.
  9. 제 1 항에 있어서,
    상기 합성된 이미지 시각화를 조절하는 단계는 관점 왜곡을 감소시키는 단계를 포함하는, 전자 디바이스에 의해 수행된 방법.
  10. 제 1 항에 있어서,
    상기 합성된 이미지 시각화는 서라운드 뷰인, 전자 디바이스에 의해 수행된 방법.
  11. 전자 디바이스로서,
    프로세서를 포함하고, 상기 프로세서는,
    합성된 이미지를 획득하는 것으로서, 상기 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함하는, 상기 합성된 이미지를 획득하고;
    심도 정보를 획득하는 것으로서, 상기 심도 정보는 심도 센서와 상기 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초하는, 상기 심도 정보를 획득하고; 그리고
    상기 심도 정보에 기초하여 합성된 이미지 시각화를 조절하도록 구성되는, 전자 디바이스.
  12. 제 11 항에 있어서,
    상기 프로세서는 상기 심도 정보에 기초하여 렌더링 기하구조를 조절하도록 구성되는, 전자 디바이스.
  13. 제 12 항에 있어서,
    상기 프로세서는 상기 적어도 하나의 객체가 상기 렌더링 기하구조의 수직 부분 상에서 렌더링되도록, 상기 렌더링 기하구조를 조절하도록 구성되는, 전자 디바이스.
  14. 제 11 항에 있어서,
    상기 프로세서는 적어도 하나의 모델을 상기 이미지 시각화의 3 차원 공간으로 삽입하도록 구성되고, 상기 모델은 상기 적어도 하나의 객체에 대응하는, 전자 디바이스.
  15. 제 11 항에 있어서,
    상기 심도 정보는 상기 심도 센서와 가장 근접한 객체 사이의 거리를 표시하는, 전자 디바이스.
  16. 제 11 항에 있어서,
    상기 적어도 하나의 객체는 복수의 객체들을 포함하고, 상기 심도 정보는 상기 심도 센서와 상기 복수의 객체들 사이의 평균 객체 거리를 표시하는, 전자 디바이스.
  17. 제 11 항에 있어서,
    상기 심도 정보는 동적인, 전자 디바이스.
  18. 제 11 항에 있어서,
    상기 프로세서는,
    객체 검출에 기초하여 관심 영역을 식별하고; 그리고
    상기 관심 영역에 기초하여 상기 합성된 이미지 시각화의 적어도 부분을 주밍하도록 구성되는, 전자 디바이스.
  19. 제 11 항에 있어서,
    상기 프로세서는 합성된 이미지 시각화를 조절함으로써 관점 왜곡을 감소시키도록 구성되는, 전자 디바이스.
  20. 제 11 항에 있어서,
    상기 합성된 이미지 시각화는 서라운드 뷰인, 전자 디바이스.
  21. 장치로서,
    합성된 이미지를 획득하기 위한 수단으로서, 상기 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함하는, 상기 합성된 이미지를 획득하기 위한 수단;
    심도 정보를 획득하기 위한 수단으로서, 상기 심도 정보는 심도 센서와 상기 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초하는, 상기 심도 정보를 획득하기 위한 수단; 및
    상기 심도 정보에 기초하여 합성된 이미지 시각화를 조절하기 위한 수단을 포함하는, 장치.
  22. 제 21 항에 있어서,
    상기 합성된 이미지 시각화를 조절하기 위한 수단은 상기 심도 정보에 기초하여 렌더링 기하구조를 조절하기 위한 수단을 포함하는, 장치.
  23. 제 21 항에 있어서,
    적어도 하나의 모델을 상기 이미지 시각화의 3 차원 공간으로 삽입하기 위한 수단으로서, 상기 모델은 상기 적어도 하나의 객체에 대응하는, 상기 삽입하기 위한 수단을 더 포함하는, 장치.
  24. 제 21 항에 있어서,
    상기 심도 정보는 상기 심도 센서와 가장 근접한 객체 사이의 거리를 표시하는, 장치.
  25. 제 21 항에 있어서,
    상기 적어도 하나의 객체는 복수의 객체들을 포함하고, 상기 심도 정보는 상기 심도 센서와 상기 복수의 객체들 사이의 평균 객체 거리를 표시하는, 장치.
  26. 명령들을 가지는 비일시적 유형의 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 명령들은,
    전자 디바이스로 하여금, 합성된 이미지를 획득하게 하기 위한 코드로서, 상기 합성된 이미지는 하나 이상의 이미지 센서들로부터 캡처된 이미지들의 조합을 포함하는, 상기 합성된 이미지를 획득하게 하기 위한 코드;
    상기 전자 디바이스로 하여금, 심도 정보를 획득하게 하기 위한 코드로서, 상기 심도 정보는 심도 센서와 상기 합성된 이미지에서의 적어도 하나의 객체 사이의 거리 측정에 기초하는, 상기 심도 정보를 획득하게 하기 위한 코드; 및
    상기 전자 디바이스로 하여금, 상기 심도 정보에 기초하여 합성된 이미지 시각화를 조절하게 하기 위한 코드를 포함하는, 비일시적 유형의 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  27. 제 26 항에 있어서,
    상기 전자 디바이스로 하여금, 상기 합성된 이미지 시각화를 조절하게 하기 위한 코드는, 상기 전자 디바이스로 하여금, 상기 심도 정보에 기초하여 렌더링 기하구조를 조절하게 하기 위한 코드를 포함하는, 비일시적 유형의 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  28. 제 26 항에 있어서,
    상기 전자 디바이스로 하여금, 적어도 하나의 모델을 상기 이미지 시각화의 3 차원 공간으로 삽입하게 하기 위한 코드로서, 상기 모델은 상기 적어도 하나의 객체에 대응하는, 상기 삽입하게 하기 위한 코드를 더 포함하는, 비일시적 유형의 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  29. 제 26 항에 있어서,
    상기 심도 정보는 상기 심도 센서와 가장 근접한 객체 사이의 거리를 표시하는, 비일시적 유형의 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  30. 제 26 항에 있어서,
    상기 적어도 하나의 객체는 복수의 객체들을 포함하고, 상기 심도 정보는 상기 심도 센서와 상기 복수의 객체들 사이의 평균 객체 거리를 표시하는, 비일시적 유형의 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020187010040A 2015-10-14 2016-08-26 이미지 시각화를 생성하기 위한 시스템들 및 방법들 KR20180070571A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/883,406 2015-10-14
US14/883,406 US10262466B2 (en) 2015-10-14 2015-10-14 Systems and methods for adjusting a combined image visualization based on depth information
PCT/US2016/049072 WO2017065883A1 (en) 2015-10-14 2016-08-26 Systems and methods for producing an image visualization

Publications (1)

Publication Number Publication Date
KR20180070571A true KR20180070571A (ko) 2018-06-26

Family

ID=56926276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010040A KR20180070571A (ko) 2015-10-14 2016-08-26 이미지 시각화를 생성하기 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (1) US10262466B2 (ko)
EP (1) EP3362982B1 (ko)
KR (1) KR20180070571A (ko)
CN (1) CN108140235B (ko)
WO (1) WO2017065883A1 (ko)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5889495B2 (ja) * 2014-02-14 2016-03-22 オリンパス株式会社 内視鏡システム
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
US10034066B2 (en) * 2016-05-02 2018-07-24 Bao Tran Smart device
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
US10591277B2 (en) * 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US20180157974A1 (en) * 2016-12-05 2018-06-07 Disney Enterprises, Inc. Data-driven ghosting using deep imitation learning
US10297059B2 (en) * 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
EP3619600A4 (en) 2017-05-01 2020-10-21 Symbol Technologies, LLC METHOD AND APPARATUS FOR OBJECT STATE DETECTION
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US11495118B2 (en) * 2017-06-27 2022-11-08 Oneevent Technologies, Inc. Augmented reality of a building
JP6861375B2 (ja) * 2017-06-30 2021-04-21 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
KR102316314B1 (ko) * 2017-07-28 2021-10-22 현대모비스 주식회사 차량의 주차 지원 장치, 시스템 및 방법
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
US10643342B2 (en) 2018-02-08 2020-05-05 Huawei Technologies Co., Ltd. Group optimization depth information method and system for constructing a 3D feature map
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US10694103B2 (en) 2018-04-24 2020-06-23 Industrial Technology Research Institute Building system and building method for panorama point cloud
US10845166B2 (en) * 2018-05-05 2020-11-24 Robert Marshall Campbell Surveillance device
US20190349571A1 (en) * 2018-05-11 2019-11-14 Ford Global Technologies, Llc Distortion correction for vehicle surround view camera projections
US10984586B2 (en) 2018-07-27 2021-04-20 Microsoft Technology Licensing, Llc Spatial mapping fusion from diverse sensing sources
US10964111B2 (en) * 2018-07-27 2021-03-30 Microsoft Technology Licensing, Llc Controlling content included in a spatial mapping
CN109190533B (zh) * 2018-08-22 2021-07-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108814452A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 扫地机器人及其障碍检测方法
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
CN110956069B (zh) * 2019-05-30 2022-06-21 魔门塔(苏州)科技有限公司 一种行人3d位置的检测方法及装置、车载终端
US11341663B2 (en) * 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
KR20190089791A (ko) * 2019-07-11 2019-07-31 엘지전자 주식회사 삼차원 어라운드 뷰 제공 장치 및 방법
CN110378276B (zh) * 2019-07-16 2021-11-30 顺丰科技有限公司 车辆状态获取方法、装置、设备、及存储介质
USD916838S1 (en) 2019-09-10 2021-04-20 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
USD917539S1 (en) 2019-09-10 2021-04-27 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
USD926211S1 (en) 2019-09-10 2021-07-27 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
US11435884B1 (en) 2019-09-10 2022-09-06 MagMutual Intermediate Holding Company Impactor, impactor mitigator, and entity structure graphical object visualization system and corresponding methods
USD916837S1 (en) 2019-09-10 2021-04-20 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
US11164260B1 (en) 2019-09-10 2021-11-02 MagMutual Intermediate Holding Company Systems and methods for simulating and visualizing loss data
USD926212S1 (en) 2019-09-10 2021-07-27 MagMutual Intermediate Holding Company Display screen or portion thereof with transitional graphical user interface
CN110728151B (zh) * 2019-10-23 2024-03-12 深圳报业集团 基于视觉特征的信息深度处理方法及系统
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
CN112989900A (zh) * 2019-12-13 2021-06-18 深动科技（北京）有限公司 一种精确检测交通标志或标线的方法
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN111198638A (zh) * 2019-12-18 2020-05-26 珠海格力电器股份有限公司 一种基于摄像头自动调节显示屏显示大小的方法和空调
US11917119B2 (en) 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
JP7310005B2 (ja) 2020-02-27 2023-07-18 東芝キヤリア株式会社 設備管理装置および設備管理画面生成方法
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11943418B2 (en) 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
EP3896604A1 (en) * 2020-04-16 2021-10-20 Toyota Jidosha Kabushiki Kaisha Vehicle driving and monitoring system; method for maintaining a sufficient level of situational awareness; computer program and computer readable medium for implementing the method
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
EP4233008A1 (en) * 2020-10-26 2023-08-30 Jerry Nims Vehicle terrain capture system and display of 3d digital image and 3d sequence
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11953602B2 (en) * 2020-11-18 2024-04-09 GM Global Technology Operations LLC Detecting three-dimensional structure models at runtime in vehicles
ES2929248A1 (es) * 2021-05-25 2022-11-25 Rendon Walter Rolando Galvez Semaforo peatonal autonomo energeticamente
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
US20230386350A1 (en) * 2022-05-25 2023-11-30 Verizon Patent And Licensing Inc. Systems and methods for indoor positioning of unmanned aerial vehicles
US11948259B2 (en) * 2022-08-22 2024-04-02 Bank Of America Corporation System and method for processing and intergrating real-time environment instances into virtual reality live streams
DE102022124085A1 (de) 2022-09-20 2024-03-21 Connaught Electronics Ltd. Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
US7283901B2 (en) * 2005-01-13 2007-10-16 Trw Automotive U.S. Llc Controller system for a vehicle occupant protection device
WO2010019926A1 (en) 2008-08-14 2010-02-18 Real D Stereoscopic depth mapping
US8004425B2 (en) * 2009-09-30 2011-08-23 Gentex Corporation Blind spot detection system and method using preexisting vehicular imaging devices
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
EP2738445B1 (en) * 2010-11-08 2018-01-10 LG Innotek Co., Ltd. Lighting apparatus
JP5891388B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US8983176B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Image selection and masking using imported depth information
WO2015081213A1 (en) 2013-11-27 2015-06-04 Children's National Medical Center 3d corrected imaging
US9384662B2 (en) * 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle
CN104318561B (zh) * 2014-10-22 2017-05-03 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Also Published As

Publication number Publication date
US10262466B2 (en) 2019-04-16
CN108140235B (zh) 2021-08-17
EP3362982A1 (en) 2018-08-22
EP3362982B1 (en) 2020-12-30
CN108140235A (zh) 2018-06-08
US20170109940A1 (en) 2017-04-20
WO2017065883A1 (en) 2017-04-20

Similar Documents

Publication Publication Date Title
CN108140235B (zh) 用于产生图像视觉显示的系统和方法
US11915502B2 (en) Systems and methods for depth map sampling
CN108352056B (zh) 用于校正错误深度信息的系统和方法
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
US11677920B2 (en) Capturing and aligning panoramic image and depth data
CN112771539B (zh) 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用
WO2021197189A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
US10362296B2 (en) Localized depth map generation
US10630962B2 (en) Systems and methods for object location
US20190378423A1 (en) User interaction with an autonomous unmanned aerial vehicle
JP2020064068A (ja) 視覚強化ナビゲーション
WO2018032457A1 (en) Systems and methods for augmented stereoscopic display
US20160360104A1 (en) Systems and methods for producing a combined view from fisheye cameras
US20180210442A1 (en) Systems and methods for controlling a vehicle using a mobile device
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
EP3251090A1 (en) Occlusion handling for computer vision
US7301497B2 (en) Stereo display for position sensing systems
JP2010123121A (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
CN104156973A (zh) 基于立体匹配的实时三维视频监控方法
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
KR20140095220A (ko) 3ｄ 차량 주변 영상 생성 방법 및 장치
Wang Hybrid panoramic visual SLAM and point cloud color mapping
CN117452411A (zh) 障碍物检测方法和装置
JP2021086268A (ja) 移動体、情報処理装置、及び撮像システム