KR102343651B1 - 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 - Google Patents

생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 Download PDF

Info

Publication number
KR102343651B1
KR102343651B1 KR1020187030019A KR20187030019A KR102343651B1 KR 102343651 B1 KR102343651 B1 KR 102343651B1 KR 1020187030019 A KR1020187030019 A KR 1020187030019A KR 20187030019 A KR20187030019 A KR 20187030019A KR 102343651 B1 KR102343651 B1 KR 102343651B1
Authority
KR
South Korea
Prior art keywords
image
resolution
unit
low
celestial
Prior art date
Application number
KR1020187030019A
Other languages
English (en)
Other versions
KR20190008193A (ko
Inventor
노부아키 이즈미
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20190008193A publication Critical patent/KR20190008193A/ko
Application granted granted Critical
Publication of KR102343651B1 publication Critical patent/KR102343651B1/ko

Links

Images

Classifications

    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

본 개시는, 전천구 화상을 사용하여 생성되는 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있도록 하는 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법에 관한 것이다. 저해상도화부는, 전천구 화상을 저해상도화한다. 투시 투영부는, 3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상을 생성한다. 본 개시는, 예를 들어, 6 방향의 촬영 화상으로부터 전천구 화상을 생성하고, 그 전천구 화상의 저해상도 스트림과 고해상도 스트림을 생성하는 생성 장치 등에 적용할 수 있다.

Description

생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
본 개시는, 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법에 관한 것으로서, 특히, 전천구 화상을 사용하여 생성되는 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있도록 한 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법에 관한 것이다.
전천구 화상의 재생 방법으로서는, 전천구 화상을 3D 모델에 매핑하여 투시 투영함으로써, 시청자의 시선 방향의 시야 범위의 화상을 표시 화상으로서 생성하고, 표시하는 방법이 있다. 전천구 화상이란, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 3D 모델에 매핑함으로써 얻어지는 화상이다.
이 방법에서는, 전천구 화상 중 일부만이 표시 화상의 생성에 사용된다. 예를 들어, 수평 방향의 시야각이 90도일 경우, 수평 방향에 대해서는, 전천구 화상 전체 중의 1/4의 영역만이 표시 화상의 생성에 사용된다. 수직 방향에 대해서도 마찬가지이다. 따라서, 전천구 화상 전체에 대한 표시 화상의 생성에 사용되는 영역의 비율은 작다.
그러나, 시청자의 시선 방향은, 재생 시에 시청자에 의해 지시되기 때문에, 기록 장치는 전천구 화상 중 표시 화상의 생성에 사용되는 영역만을 기록하는 것은 곤란하다. 따라서, 기록 장치는 전천구 화상 전체를 기록하고, 재생 장치가 표시 화상의 생성에 사용되는 영역만을 기록 장치에 요구함으로써, 기록 장치로부터 재생 장치에의 전천구 화상의 전송량을 삭감할 것이 요망되고 있다.
그래서, 전천구 화상을 복수의 영역으로 분할하고, 분할 영역마다의 부호화 스트림을 생성함으로써, 소정의 분할 영역의 부호화 스트림만을 기록 장치로부터 재생 장치로 전송 가능하게 하는 것이 고안되어 있다(예를 들어, 특허문헌 1 참조).
또한, 저해상도의 전천구 화상 전체와, 서로 겹치는 부분을 갖는 분할 영역마다의 고해상도의 전천구 화상을 따로따로 부호화하고, 저해상도의 전천구 화상 전체와 시청자의 시선 방향에 대응하는 분할 영역의 고해상도의 전천구 화상의 부호화 스트림만을 기록 장치로부터 재생 장치로 전송하는 것도 고안되어 있다(예를 들어, 특허문헌 2 참조).
이 경우, 기록 장치는, 고해상도의 전천구 화상에 대해서는, 표시 화상의 생성에 사용되는 분할 영역의 부호화 스트림만을 전송하면 되기 때문에, 모든 분할 영역의 고해상도의 전천구 화상을 전송하는 경우에 비하여 전송량을 삭감할 수 있다. 또한, 표시 화상의 생성에, 전송되어 온 고해상도의 전천구 화상의 부호화 스트림에 대응하는 분할 영역 이외의 영역의 전천구 화상이 사용되는 경우나, 시청자의 시선 방향이 갑자기 변화하는 경우에도, 저해상도의 전천구 화상을 사용하여 표시 화상을 생성할 수 있다. 또한, 분할 영역의 수를 다수로 하거나, 전천구 화상의 단부에 걸치는 영역을 분할 영역에 설정하거나 함으로써, 표시 화상의 생성에 사용되는 전천구 화상 중 고해상도의 전천구 화상의 비율을 증가시킬 수 있다.
일본 특허 공개 제2001-298652호 공보 일본 특허 공개 제2016-15705호 공보
그러나, 전천구 화상이, 예를 들어 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 매핑된 구의 정거 원통 도법에 의한 화상일 경우, 전천구 화상의 구 상의 형상은, 극부(지구본으로서의 구에 있어서 북극 및 남극에 상당하는 부분)에 가까울수록 왜곡된다. 예를 들어, 전천구 화상의 직사각형 영역은, 구의 극부 부근에 매핑되면, 구 상의 형상이 부채꼴로 왜곡된다.
따라서, 동일한 형상 및 사이즈의 분할 영역의 고해상도의 전천구 화상일지라도, 분할 영역의 전천구 화상 상의 위치에 따라, 투시 투영면 상의 형상이나 사이즈가 상이하다. 그 결과, 시선 방향에 따라 표시 화상에 있어서의 분할 영역의 고해상도의 전천구 화상의 영역 비율이 상이하여, 모든 시선 방향에 대하여 동일 정도의 화질의 표시 화상을 생성하는 것은 곤란하였다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 전천구 화상을 사용하여 생성되는 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있도록 하는 것이다.
본 개시의 제1 측면의 생성 장치는, 전천구 화상을 저해상도화하는 저해상도화부와, 3D 모델에 매핑된 상기 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상을 생성하는 투영부를 구비하는 생성 장치이다.
본 개시의 제1 측면의 생성 방법은, 본 개시의 제1 측면의 생성 장치에 대응한다.
본 개시의 제1 측면에 있어서는, 전천구 화상이 저해상도화되어, 3D 모델에 매핑된 상기 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상이 생성된다.
본 개시의 제2 측면의 재생 장치는, 3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써 생성된 복수의 화상 중 적어도 1개의 화상과, 저해상도화된 상기 전천구 화상을 수취하는 수취부와, 상기 수취부에 의해 수취된 상기 화상 및 저해상도화된 상기 전천구 화상의 적어도 한쪽에 기초하여 표시 화상을 생성하는 묘화부를 구비하는 재생 장치이다.
본 개시의 제2 측면의 재생 방법은, 본 개시의 제2 측면의 재생 장치에 대응한다.
본 개시의 제2 측면에 있어서는, 3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써 생성된 복수의 화상 중 적어도 1개의 화상과, 저해상도화된 상기 전천구 화상이 수취되어, 상기 화상 및 저해상도화된 상기 전천구 화상의 적어도 한쪽에 기초하여, 표시 화상이 생성된다.
또한, 제1 측면의 생성 장치 및 제2 측면의 재생 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 제1 측면의 생성 장치 및 제2 측면의 재생 장치를 실현하기 위해서, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는, 기록 매체에 기록하여, 제공할 수 있다.
본 개시의 제1 측면에 의하면, 화상을 생성할 수 있다. 또한, 본 개시의 제1 측면에 의하면, 전천구 화상을 사용하여 생성되는 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있도록 화상을 생성할 수 있다.
본 개시의 제2 측면에 의하면, 화상을 재생할 수 있다. 또한, 본 개시의 제2 측면에 의하면, 전천구 화상을 사용하여 생성되는 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있다.
또한, 본 명세서에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 전천구 화상의 구 상의 형상의 왜곡을 설명하는 도면이다.
도 2는 본 개시를 적용한 배신 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 3은 도 2의 생성 장치의 구성예를 도시하는 블록도이다.
도 4는 2차원 평면의 제1 예를 도시하는 도면이다.
도 5는 고해상도 화상을 설명하는 도면이다.
도 6은 제1 실시 형태에 있어서의 2차원 평면 테이블의 구성예를 도시하는 도면이다.
도 7은 도 3의 생성 장치의 생성 처리를 설명하는 흐름도이다.
도 8은 도 2의 배신 서버와 재생 장치의 구성예를 도시하는 블록도이다.
도 9는 도 8의 매핑 처리부에 의한 매핑을 설명하는 도면이다.
도 10은 표시 화상의 예를 도시하는 도면이다.
도 11은 도 8의 재생 장치 재생 처리를 설명하는 흐름도이다.
도 12는 2차원 평면의 제2 예를 도시하는 도면이다.
도 13은 전천구 화상의 생성 방법의 예를 설명하는 도면이다.
도 14는 저해상도 화상의 다른 예를 도시하는 도면이다.
도 15는 투영면의 좌표계를 설명하는 도면이다.
도 16은 tan축 투영을 설명하는 도면이다.
도 17은 투시 투영과 tan축 투영에 있어서의 투영점을 설명하는 도면이다.
도 18은 투시 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 예를 도시하는 도면이다.
도 19는 tan축 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 예를 도시하는 도면이다.
도 20은 투시 투영 및 tan축 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 다른 예를 도시하는 도면이다.
도 21은 제2 실시 형태에 있어서의 2차원 평면 테이블의 구성예를 도시하는 도면이다.
도 22는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
도 23은 차량 제어 시스템의 개략적인 구성의 일례를 도시하는 블록도이다.
도 24는 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 도시하는 설명도이다.
이하, 본 개시의 전제 및 본 개시를 실시하기 위한 형태(이하, 실시 형태라고 한다)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
0. 본 개시의 전제(도 1)
1. 제1 실시 형태: 배신 시스템(도 2 내지 도 14)
2. 제2 실시 형태: 배신 시스템(도 15 내지 도 21)
3. 제3 실시 형태: 컴퓨터(도 22)
4. 응용예(도 23 및 도 24)
<본 개시의 전제>
도 1은, 전천구 화상이, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 매핑된 구의 정거 원통 도법에 의한 화상일 경우에 발생하는, 전천구 화상의 구 상의 형상의 왜곡을 설명하는 도면이다.
도 1의 A 및 도 1의 B의 좌측은, 전천구 화상(1)을 도시하고 있고, 전천구 화상(1) 내의 수평 방향의 선 및 수직 방향의 선은, 각각, 위선, 경선이다. 또한, 도 1의 A 및 도 1의 B의 중앙의 구(2)는 내측의 면에 전천구 화상(1)이 매핑된 구이다. 또한, 도 1의 A 및 도 1의 B의 우측의 도면은, 구(2)에 매핑된 전천구 화상(1)을 구(2)의 내측으로부터 본 도면이다.
도 1의 A의 좌측에 도시하는 바와 같이, 전천구 화상(1)의 중앙 부근의 직사각형 영역(1A)이, 도 1의 A의 중앙에 도시하는 바와 같이 구(2)의 내측의 면에 매핑되면, 도 1의 A의 우측에 도시하는 바와 같이, 구(2)의 내측으로부터 본 영역(1A)의 극부 방향에 수직인 변은, 동일 정도로 왜곡되어, 곡선이 된다. 즉, 영역(1A)은, 전천구 화상(1)의 중앙 부근의 영역이며, 극부 방향의 매핑 위치는, 양극부에서 대략 동일한 거리만큼 이격되어 있다. 따라서, 구(2)의 내측으로부터 본 영역(1A)의 극부 방향에 수직인 변은, 동일 정도로 왜곡된다.
한편, 도 1의 B의 좌측에 도시하는 바와 같이, 영역(1A)과 동일한 형상 및 사이즈인데, 전천구 화상(1)의 상측 영역(1B)이, 도 1의 B의 중앙에 도시하는 바와 같이 구(2)의 내측의 면에 매핑되면, 도 1의 B의 우측에 도시하는 바와 같이, 구(2)의 내측으로부터 본 영역(1B)의 형상은, 부채형이 된다. 즉, 영역(1B)은, 전천구 화상(1)의 상측 부근의 영역이며, 극부 방향의 매핑 위치는, 도면 중 상측의 극부에 가깝고, 도면 중 하측의 극부에서 멀다. 따라서, 구(2)의 내측으로부터 본 영역(1B)의 극부 방향에 수직인 2변은 왜곡되어 곡선이 되는데, 왜곡량은 극부에서 먼 변에 비하여 가까운 변쪽이 크게 된다.
이상과 같이, 전천구 화상이, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상이 매핑된 구의 정거 원통 도법에 의한 화상일 경우, 전천구 화상(1) 상의 형상 및 사이즈가 동일할지라도, 전천구 화상(1) 상의 위치에 따라, 구(2) 상의 형상 및 사이즈가 상이하다. 따라서, 구(2)에 매핑된 전천구 화상(1)을 투시 투영한 2차원 평면 상의 형상 및 사이즈도 상이하다.
<제1 실시 형태>
(배신 시스템의 제1 실시 형태의 구성예)
도 2는, 본 개시를 적용한 배신 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2의 배신 시스템(10)은 촬영 장치(11), 생성 장치(12), 배신 서버(13), 네트워크(14), 재생 장치(15), 및 헤드 마운트 디스플레이(16)에 의해 구성된다. 배신 시스템(10)은 촬영 장치(11)에 의해 촬영된 촬영 화상으로부터 전천구 화상을 생성하고, 전천구 화상을 사용하여 시청자의 시야 범위의 표시 화상을 표시한다.
구체적으로는, 배신 시스템(10)의 촬영 장치(11)는 6개의 카메라(11A-1 내지 11A-6)에 의해 구성된다. 또한, 이하에서는, 카메라(11A-1 내지 11A-6)를 특별히 구별할 필요가 없을 경우, 그들을 통합하여 카메라(11A)라고 한다.
각 카메라(11A)는 동화상을 촬영한다. 촬영 장치(11)는 각 카메라(11A)에 의해 촬영된 6 방향의 동화상을 촬영 화상으로 하여 생성 장치(12)에 공급한다. 또한, 촬영 장치(11)가 구비하는 카메라의 수는, 복수이기만 하면, 6개에 한정되지 않는다.
생성 장치(12)는 정거 원통 도법을 사용한 방법에 의해, 촬영 장치(11)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성하여 저해상도화한다. 생성 장치(12)는 저해상도화된 전천구 화상인 저해상도 화상(YUV 화상)을 부호화하여, 1개의 저해상도 스트림을 생성한다.
또한, 생성 장치(12)는 전천구 화상을 3D 모델로서의 구에 매핑하고, 구에 매핑된 전천구 화상을 5개의 시선 방향에 대응하는 2차원 평면에, 구의 중심을 초점으로 하여 투시 투영함으로써, 5개의 화상을 생성한다. 생성 장치(12)는 이 5개의 화상을 각각 고해상도 화상(YUV 화상)으로서 부호화하여, 5개의 고해상도 스트림을 생성한다.
또한, 생성 장치(12)는 각 고해상도 화상에 대응하는 2차원 평면의 위치, 기울기, 및 사이즈를 나타내는 2차원 평면 정보를 생성한다. 생성 장치(12)는 1개의 저해상도 스트림, 5개의 고해상도 스트림, 및 2차원 평면 정보를 배신 서버(13)에 업로드한다.
배신 서버(13)는 네트워크(14)를 통하여 재생 장치(15)와 접속한다. 배신 서버(13)는 생성 장치(12)로부터 업로드된 1개의 저해상도 스트림, 5개의 고해상도 스트림, 및 2차원 평면 정보를 기억한다. 배신 서버(13)는 재생 장치(15)로부터의 요구에 따라, 기억하고 있는 저해상도 스트림, 고해상도 스트림, 및 2차원 평면 정보를, 네트워크(14)를 통하여 재생 장치(15)에 송신한다.
재생 장치(15)는 배신 서버(13)에 1개의 저해상도 스트림과 2차원 평면 정보를, 네트워크(14)를 통하여 요구하고, 그 요구에 따라서 송신되어 오는 1개의 저해상도 스트림과 2차원 평면 정보를 수취한다.
또한, 재생 장치(15)는 카메라(15A)를 내장하고, 헤드 마운트 디스플레이(16)에 첨부된 마커(16A)를 촬영한다. 그리고, 재생 장치(15)는 마커(16A)의 촬영 화상에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시청 위치를 검출한다. 또한, 재생 장치(15)는 헤드 마운트 디스플레이(16)의 자이로 센서(16B)의 검출 결과를, 헤드 마운트 디스플레이(16)로부터 수취한다. 재생 장치(15)는 자이로 센서(16B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 재생 장치(15)는 시청 위치와 시선 방향에 기초하여, 3D 모델의 내부에 위치하는 시청자의 시야 범위를 결정한다.
그리고, 재생 장치(15)는 2차원 평면 정보와 시청자의 시야 범위에 기초하여, 5개 고해상도 스트림 중 1개의 고해상도 스트림을 네트워크(14)를 통하여 요구하고, 그 요구에 따라서 송신되어 오는 1개의 고해상도 스트림을 수취한다.
재생 장치(15)는 수취된 1개의 저해상도 스트림과 1개의 고해상도 스트림을 복호한다. 재생 장치(15)는 복호의 결과 얻어지는 저해상도 화상을 3D 모델로서의 구에 매핑하고, 고해상도 화상을 구의 내부 3D 모델로서의 2차원 평면에 매핑함으로써, 3D 모델 화상을 생성한다.
그리고, 재생 장치(15)는 시청 위치를 초점으로 하여, 3D 모델 화상을 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 재생 장치(15)는 표시 화상을 헤드 마운트 디스플레이(16)에 공급한다.
헤드 마운트 디스플레이(16)는 시청자의 헤드부에 장착되어, 재생 장치(15)로부터 공급되는 표시 화상을 표시한다. 헤드 마운트 디스플레이(16)에는, 카메라(15A)에 의해 촬영되는 마커(16A)가 첨부되어 있다. 따라서, 시청자는, 헤드 마운트 디스플레이(16)를 헤드부에 장착한 상태에서 이동함으로써 시청 위치를 지정할 수 있다. 또한, 헤드 마운트 디스플레이(16)에는 자이로 센서(16B)가 내장되고, 그 자이로 센서(16B)에 의한 각속도의 검출 결과는 재생 장치(15)로 전송된다. 따라서, 시청자는, 헤드 마운트 디스플레이(16)를 장착한 헤드부를 회전시킴으로써, 시선 방향을 지정할 수 있다.
배신 시스템(10)에 있어서, 배신 서버(13)로부터 재생 장치(15)에의 배신 방법은, 어떤 방법이어도 된다. 배신 방법이, 예를 들어, MPEG-DASH(Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP)를 사용하는 방법일 경우, 배신 서버(13)는 HTTP(HyperText Transfer Protocol) 서버이며, 재생 장치(15)는 MPEG-DASH 클라이언트이다.
(생성 장치의 구성예)
도 3은, 도 2의 생성 장치(12)의 구성예를 도시하는 블록도이다.
도 3의 생성 장치(12)는 스티칭 처리부(21), 매핑 처리부(22), 저해상도화부(23), 인코더(24), 설정부(25), 투시 투영부(26-1 내지 26-5), 인코더(27-1 내지 27-5), 테이블 생성부(28), 및 송신부(29)에 의해 구성된다.
스티칭 처리부(21)는 프레임마다, 도 2의 카메라(11A)로부터 공급되는 6 방향의 촬영 화상의 색이나 밝기를 동일하게 하고, 겹침을 제거하여 접속한다. 스티칭 처리부(21)는 그 결과 얻어지는 프레임 단위의 촬영 화상을 매핑 처리부(22)에 공급한다.
매핑 처리부(22)는 정거 원통 도법을 사용한 방법에 의해, 스티칭 처리부(21)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성한다. 구체적으로는, 매핑 처리부(22)는 촬영 화상을 텍스처로 하여 소정의 시점을 중심으로 한 구에 매핑하고, 그 구의 정거 원통 도법에 의한 화상을 전천구 화상으로서 생성한다. 따라서, 매핑 처리부(22)에 의해 생성되는 전천구 화상의 형상은, 부호화에 적합한 직사각형이다.
매핑 처리부(22)는 전천구 화상을 저해상도화부(23) 및 투시 투영부(26-1 내지 26-5)에 공급한다. 또한, 스티칭 처리부(21)와 매핑 처리부(22)는 일체화되어 있어도 된다.
저해상도화부(23)는 매핑 처리부(22)로부터 공급되는 전천구 화상을 저해상도화하여, 저해상도 화상을 생성한다. 저해상도화부(23)는 생성된 저해상도 화상을 인코더(24)에 공급한다.
인코더(24)(저해상도 부호화부)는 저해상도화부(23)로부터 공급되는 저해상도 화상을 MPEG2(Moving Picture Experts Group phase 2) 방식이나 AVC(Advanced Video Coding) 방식 등의 부호화 방식으로 부호화하여, 1개의 저해상도 스트림을 생성한다. 인코더(24)는 1개의 저해상도 스트림을 송신부(29)에 공급한다.
설정부(25)는 5개의 시선 방향에 대응하는 2차원 평면 정보를 설정한다. 설정부(25)는 각 2차원 평면 정보를 투시 투영부(26-1 내지 26-5)에 공급한다. 또한, 설정부(25)는 5개의 2차원 평면 정보를 테이블 생성부(28)에 공급한다.
투시 투영부(26-1 내지 26-5)는, 각각, 매핑 처리부(22)로부터 공급되는 전천구 화상을 구에 매핑한다. 투시 투영부(26-1 내지 26-5)는, 각각, 구의 중심을 초점으로 하여, 구에 매핑된 전천구 화상을, 설정부(25)로부터 공급되는 2차원 평면 정보가 나타내는 2차원 평면에 투시 투영함으로써, 화상을 생성한다. 이에 의해, 생성된 화상은, 구에 매핑된 전천구 화상을 구의 중심으로부터 소정의 시선 방향을 향해 본 화상이 된다. 투시 투영부(26-1 내지 26-5)는, 각각, 생성된 화상을 고해상도 화상으로서 인코더(27-1 내지 27-5)에 공급한다.
인코더(27-1) 내지 인코더(27-5)(고해상도 부호화부)는 각각, 투시 투영부(26-1 내지 26-5)로부터 공급되는 고해상도 화상을, MPEG2 방식이나 AVC 방식 등의 부호화 방식으로 부호화하여, 1개의 고해상도 스트림을 생성한다.
이때, 예를 들어, 인코더(27-1 내지 27-5)에 의해 생성되는 5개의 고해상도 스트림의 사이에, GOP(Group of Picture)의 선두 픽처나 IDR 픽처 등의 싱크 포인트는 동일하게 된다. 인코더(27-1 내지 27-5)는, 각각, 생성된 1개의 고해상도 스트림을 송신부(29)에 공급한다.
또한, 이하에서는, 투시 투영부(26-1 내지 26-5)를 특별히 구별할 필요가 없을 경우, 그들을 통합하여 투시 투영부(26)라고 한다. 마찬가지로, 인코더(27-1 내지 27-5)를 통합하여 인코더(27)라고 한다.
테이블 생성부(28)는 설정부(25)로부터 공급되는 5개의 2차원 평면 정보를 포함하는 2차원 평면 테이블을 생성하고, 송신부(29)에 공급한다.
송신부(29)는 인코더(24)로부터 공급되는 1개의 저해상도 스트림, 인코더(27) 각각으로부터 공급되는 합계 5개의 고해상도 스트림, 및 테이블 생성부(28)로부터 공급되는 2차원 평면 테이블을, 도 2의 배신 서버(13)에 업로드(송신)한다.
(2차원 평면의 제1 예)
도 4는, 도 3의 설정부(25)에 의해 설정되는 5개의 2차원 평면의 예를 도시하는 도면이다.
도 4의 A와 도 4의 B는, 각각, 2차원 평면이 내부에 설정된 3D 모델로서의 구의 투시도, 수평 절단면의 상면도이다.
도 4의 예에서는, 전천구 화상이, 콘서트회장을 촬영한 촬영 화상으로 생성된 전천구 화상이다. 또한, 전천구 화상이 구(40)에 매핑되었을 때, 구(40)의 중심(O)을 통과하고, 중심(O)을 통과하는 수평면 상의 기준축과의 수평 방향의 각도가, -90도, -45도, 0도, 45도, 90도인 방향으로, 콘서트회장에 배치된 스테이지의 전천구 화상이 존재한다. 즉, 중심(O)을 시청 위치로 하는 시청자에게 있어서 중요하다고 상정되는 시선 방향의 기준축과의 수평 방향의 각도가, -90도, -45도, 0도, 45도, 90도이다.
따라서, 도 4의 A 및 도 4의 B에 도시하는 바와 같이, 설정부(25)는 구(40)의 중심(O)을 통과하고, 기준축과의 수평 방향의 각도가, -90도, -45도, 0도, 45도, 90도인 선을, 중심을 통과하는 법선으로 하고, 인접하는 것끼리가 교차하도록, 구(40)의 내부에 2차원 평면(41 내지 45)을 설정한다. 따라서, 2차원 평면(41 내지 45) 중 인접하는 것끼리 투시 투영되는 전천구 화상의 일부는 중복된다.
또한, 도 4의 예에서는, 2차원 평면(41 내지 45)의 중심을 통과하는 법선과 기준축의 수평 방향의 각도의 절댓값은 90도 이하이다. 따라서, 재생 장치(15)는 모든 2차원 평면에 대응하는 고해상도 화상을 사용하더라도, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 모든 시선 방향에 대응하는 표시 화상을 생성할 수는 없다.
또한, 도 4의 예에서는, 2차원 평면(41 내지 45)의 중심을 통과하는 법선과 기준축의 수직 방향의 각도는 모두 0도이며, 2차원 평면(41 내지 45)의 기울기는 없다.
(고해상도 화상의 설명)
도 5는, 도 3의 투시 투영부(26)에 의해 생성되는 고해상도 화상을 설명하는 도면이다.
도 5의 예에서는, 설정부(25)가 도 4의 2차원 평면(41 내지 45)의 2차원 평면 정보를 설정한다. 또한, 도 5의 A 및 도 5의 B는, 전천구 화상이 매핑된 구(40)를 위에서 본 도면이며, 도면 중의 작은 검정색 동그라미는 화소를 나타낸다.
도 5의 A에 도시하는 바와 같이, 인접하는 것끼리가 서로 겹치는 부분을 갖는 분할 영역마다 전천구 화상이 분할됨으로써, 고해상도 화상이 생성되는 경우, 인접하는 고해상도 화상이 중첩되는 영역의 각 화소(샘플링점)의 구(40) 상의 매핑 위치는 동일하게 된다.
구체적으로는, 인접하는 분할 영역의 고해상도 화상(61)과 고해상도 화상(62)의 중복하는 영역 내의 화소(61A)와 화소(62A)의 구(40)에의 매핑 위치는 동일하다. 마찬가지로, 인접하는 분할 영역의 고해상도 화상(62)과 고해상도 화상(63)의 중복하는 영역 내의 화소(62B)와 화소(63A)의 구(40) 상의 매핑 위치는 동일하다. 즉, 화소(61A)와 화소(62A)의 전천구 화상 상의 위치는 동일하며, 화소(62B)와 화소(63A)의 전천구 화상 상의 위치는 동일하다.
따라서, 고해상도 화상(61 내지 63)의 중복하는 영역의 각 화소끼리를 중첩하여 부착함으로써, 전천구 화상의 일부를 생성할 수 있다. 또한, 도 5의 A에서는, 보기 쉽게 하기 위해서, 고해상도 화상(61) 및 고해상도 화상(63)을 구(40)로부터 이격하여 도시하고 있다.
한편, 도 5의 B에 도시하는 바와 같이, 투시 투영부(26)에 의해 2차원 평면(42 내지 44)에 투시 투영된 고해상도 화상(82 내지 84)의 각 화소의 구(40) 상의 매핑 위치는 상이하다.
구체적으로는, 고해상도 화상(82)의 화소(82A)의 구(40) 상의 매핑 위치와, 그 매핑 위치의 가장 가까이에 매핑되는 고해상도 화상(83)의 화소(83A)의 매핑 위치는 상이하다. 마찬가지로, 고해상도 화상(83)의 화소(83B)의 구(40) 상의 매핑 위치와, 그 매핑 위치의 가장 가까이에 매핑되는 고해상도 화상(84)의 화소(84B)의 매핑 위치는 상이하다. 따라서, 고해상도 화상(82 내지 84)을 중첩하여 부착하더라도, 전천구 화상의 일부를 생성할 수는 없다.
또한, 도 5의 B에서는, 2차원 평면(42 내지 44)에 투시 투영된 고해상도 화상(82 내지 84)만 도시했지만, 2차원 평면(41) 및 2차원 평면(45)에 투시 투영된 고해상도 화상에 대해서도, 고해상도 화상(82 내지 84)과 마찬가지이다.
(2차원 평면 테이블의 구성예)
도 6은, 도 3의 테이블 생성부(28)에 의해 생성되는 2차원 평면 테이블의 구성예를 도시하는 도면이다.
도 6의 예에서는, 2차원 평면 정보가, 도 4의 2차원 평면(41 내지 45)의 위치를 나타내는 정보로서 방위각과 앙각을 포함하고, 기울기를 나타내는 정보로서 회전각을 포함하고, 사이즈를 나타내는 정보로서 가로 화각과 세로 화각을 포함한다.
또한, 방위각과 앙각은, 각각, 구(40)의 중심(O)과 2차원 평면(41 내지 45)의 중심을 연결하는 선과, 중심(O)을 통과하는 수평면 상의 기준축과의 이루는 수평 방향의 각도, 수직 방향의 각도이다. 회전각은, 2차원 평면(41 내지 45)의 중심과 중심(O)을 연결하는 선을 축으로 했을 때의 2차원 평면(41 내지 45)의 회전 방향 각도이다. 가로 화각은, 2차원 평면(41 내지 45)의 가로 방향의 두 단부 각각과 중심(O)을 연결한 선이 이루는 각도이며, 세로 화각은, 2차원 평면(41 내지 45)의 세로 방향의 두 단부 각각과 중심(O)을 연결한 선이 이루는 각도이다.
이 경우, 도 6에 도시하는 바와 같이, 2차원 평면 테이블에는, 2차원 평면(41 내지 45) 각각에 고유한 ID가 등록된다. 도 6의 예에서는, 2차원 평면(41 내지 45)에 대하여 1부터 순서대로 ID가 부여되어 있고, 2차원 평면 테이블에는, ID로서 1 내지 5가 등록된다.
또한, 2차원 평면 테이블에는, ID에 대응지어, 그 ID에 대응하는 2차원 평면의 2차원 평면 정보와, 각 2차원 평면의 고해상도 화상의 가로 방향의 화소수인 가로 화소수 및 세로 방향의 화소수인 세로 화소수가 등록된다.
구체적으로는, 2차원 평면(41 내지 45)은 각각, 구(40)의 중심(O)을 통과하고, 기준축과의 수평 방향의 각도가 -90도, -45도, 0도, 45도, 90도이며, 수직 방향의 각도가 모두 0도인 선을, 중심을 통과하는 법선으로 하고, 기울기가 없도록 설정된다. 따라서, ID 「1」 내지 「5」 각각에 대응지어, 방위각 「-90도」, 방위각 「-45도」, 방위각 「0도」, 방위각 「45도」, 방위각 「90도」가 등록된다. 또한, ID 「1」 내지 「5」에 대응지어, 앙각 「0도」 및 회전각 「0도」가 등록된다.
또한, 도 6의 예에서는, 2차원 평면(41 내지 45)의 가로 화각 및 세로 화각은 90도이며, 가로 화소수 및 세로 화소수는 1024이다. 따라서, ID 「1」 내지 「5」에 대응지어, 가로 화각 「90도」, 세로 화각 「90도」, 가로 화소수 「1024」, 및 세로 화소수 「1024」가 등록된다.
(생성 장치의 처리의 설명)
도 7은, 도 3의 생성 장치(12)의 생성 처리를 설명하는 흐름도이다.
도 7의 스텝 S11에 있어서, 스티칭 처리부(21)는, 프레임마다, 도 2의 카메라(11A)로부터 공급되는 6 방향의 촬영 화상의 색이나 밝기를 동일하게 하고, 겹침을 제거하여 접속한다. 스티칭 처리부(21)는 그 결과 얻어지는 프레임 단위의 촬영 화상을 매핑 처리부(22)에 공급한다.
스텝 S12에 있어서, 매핑 처리부(22)는 정거 원통 도법을 사용한 방법에 의해, 스티칭 처리부(21)로부터 공급되는 촬영 화상으로부터 전천구 화상을 생성한다. 매핑 처리부(22)는 전천구 화상을 저해상도화부(23) 및 투시 투영부(26-1 내지 26-5)에 공급한다.
스텝 S13에 있어서, 저해상도화부(23)는 매핑 처리부(22)로부터 공급되는 전천구 화상을 저해상도화하여, 저해상도 화상을 생성한다. 저해상도화부(23)는 생성된 저해상도 화상을 인코더(24)에 공급한다.
스텝 S14에 있어서, 인코더(24)는 저해상도화부(23)로부터 공급되는 저해상도 화상을 부호화하여, 1개의 저해상도 스트림을 생성한다. 인코더(24)는 1개의 저해상도 스트림을 송신부(29)에 공급한다.
스텝 S15에 있어서, 설정부(25)는 5개의 시선 방향에 대응하는 2차원 평면 정보를 설정한다. 설정부(25)는 각 2차원 평면 정보를 각 투시 투영부(26)에 공급하고, 5개의 2차원 평면 정보를 테이블 생성부(28)에 공급한다.
스텝 S16에 있어서, 각 투시 투영부(26)는 매핑 처리부(22)로부터 공급되는 전천구 화상을 구에 매핑하고, 구의 중심을 초점으로 하여, 구에 매핑된 전천구 화상을, 설정부(25)로부터 공급되는 2차원 평면 정보가 나타내는 2차원 평면에 투시 투영함으로써 화상을 생성한다. 각 투시 투영부(26)는 생성된 화상을 고해상도 화상으로서 각 인코더(27)에 공급한다.
스텝 S17에 있어서, 각 인코더(27)는 투시 투영부(26)로부터 공급되는 고해상도 화상을 부호화하여, 1개의 고해상도 스트림을 생성하고, 송신부(29)에 공급한다.
스텝 S18에 있어서, 테이블 생성부(28)는 설정부(25)로부터 공급되는 5개의 2차원 평면 정보를 포함하는 2차원 평면 테이블을 생성하고, 송신부(29)에 공급한다.
스텝 S19에 있어서, 송신부(29)는 인코더(24)로부터 공급되는 1개의 저해상도 스트림, 각 인코더(27)로부터 공급되는 합계 5개의 고해상도 스트림, 및 테이블 생성부(28)로부터 공급되는 2차원 평면 테이블을, 배신 서버(13)에 업로드한다.
(배신 서버와 재생 장치의 구성예)
도 8은, 도 2의 배신 서버(13)와 재생 장치(15)의 구성예를 도시하는 블록도이다.
도 8에 도시하는 바와 같이, 배신 서버(13)는 수신부(101), 스토리지(102), 송신부(103), 및 송신부(104)에 의해 구성된다.
수신부(101)는 도 2의 생성 장치(12)로부터 업로드된 1개의 저해상도 스트림, 5개의 고해상도 스트림, 및 2차원 평면 테이블을 수신하고, 스토리지(102)에 공급한다.
스토리지(102)는 수신부(101)로부터 공급되는 1개의 저해상도 스트림, 5개의 고해상도 스트림, 및 2차원 평면 테이블을 기억한다.
송신부(103)는 재생 장치(15)로부터의 요구에 따라, 1개의 저해상도 스트림과 2차원 평면 테이블을 스토리지(102)로부터 판독하고, 네트워크(14)를 통하여 재생 장치(15)에 송신한다.
송신부(104)는 재생 장치(15)로부터의 요구에 따라, 1개의 고해상도 스트림을 스토리지(102)로부터 판독하고, 네트워크(14)를 통하여 재생 장치(15)에 송신한다. 또한, 송신하는 고해상도 스트림의 변경은, 싱크 포인트에서 행하여진다. 따라서, 송신하는 고해상도 스트림의 변경은, 수 프레임 내지 수십 프레임 단위로 행해진다.
또한, 상술한 바와 같이, 5개의 고해상도 스트림의 사이에 싱크 포인트는 동일하다. 따라서, 송신부(104)는 송신하는 고해상도 스트림을 싱크 포인트에서 전환함으로써, 재생 장치(15)에 있어서, 재생하는 고해상도 화상의 전환을 용이하게 행할 수 있다.
재생 장치(15)는 카메라(15A), 수신부(121), 디코더(122), 수신부(123), 디코더(124), 매핑 처리부(125), 묘화부(126), 수취부(127), 및 시선 검출부(128)에 의해 구성된다.
재생 장치(15)의 수신부(121)는 배신 서버(13)에 1개의 저해상도 스트림과 2차원 평면 정보를, 네트워크(14)를 통하여 요구한다. 수신부(121)(수취부)는 그 요구에 따라서 송신부(103)로부터 송신되어 오는 1개의 저해상도 스트림과 2차원 평면 정보를 수취한다. 수신부(121)는 1개의 저해상도 스트림을 디코더(122)에 공급하고, 2차원 평면 정보를 시선 검출부(128)에 공급한다.
디코더(122)(저해상도 복호부)는 수신부(121)로부터 공급되는 저해상도 스트림을 복호하여, 저해상도 화상을 생성한다. 디코더(122)는 저해상도 화상을 매핑 처리부(125)에 공급한다.
수신부(123)는 시선 검출부(128)로부터, 5개의 2차원 평면 중 하나인 선택면의 ID를 나타내는 선택면 정보를 취득한다. 수신부(123)는 선택면 정보에 기초하여, 5개의 고해상도 스트림 중, 선택면 정보에 의해 특정되는 선택면의 1개의 고해상도 스트림을, 네트워크(14)를 통하여 요구한다. 수신부(123)는 그 요구에 따라서 송신부(104)로부터 송신되어 오는 1개의 고해상도 스트림을 수취하고, 디코더(124)에 공급한다.
디코더(124)(고해상도 복호부)는 수신부(123)로부터 공급되는 1개의 고해상도 스트림을 복호하여, 고해상도 화상을 생성한다. 디코더(124)는 고해상도 화상을 매핑 처리부(125)에 공급한다.
매핑 처리부(125)는 시선 검출부(128)로부터 공급되는 선택면의 2차원 평면 정보에 기초하여, 미리 3D 모델로서 설정되어 있는 구의 내부에 선택면을 3D 모델로서 설정한다. 매핑 처리부(125)는 디코더(122)로부터 공급되는 저해상도 화상을, 3D 모델로서의 구에 텍스처로서 매핑한다. 또한, 매핑 처리부(125)는 3D 모델로서의 2차원 평면에, 디코더(124)로부터 공급되는 고해상도 화상을 텍스처로서 매핑한다. 매핑 처리부(125)는 구와 선택면에 텍스처가 매핑된 3D 모델 화상을 묘화부(126)에 공급한다.
묘화부(126)는 매핑 처리부(125)로부터 공급되는 3D 모델 화상을, 시선 검출부(128)로부터 공급되는 시청 위치를 초점으로 하여, 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다. 즉, 묘화부(126)는 시청 위치에서 시야 범위를 통하여 보이는 구(40) 또는 2차원 평면에 매핑된 화상을 표시 화상으로서 생성한다. 묘화부(126)는 표시 화상을 헤드 마운트 디스플레이(16)에 공급한다.
수취부(127)는 도 2의 자이로 센서(16B)의 검출 결과를 헤드 마운트 디스플레이(16)로부터 수취하고, 시선 검출부(128)에 공급한다.
시선 검출부(128)는 수취부(127)로부터 공급되는 자이로 센서(16B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다. 또한, 시선 검출부(128)는 카메라(15A)로부터 마커(16A)의 촬영 화상을 취득하고, 그 촬영 화상에 기초하여, 3D 모델의 좌표계에 있어서의 시청 위치를 검출한다.
시선 검출부(128)(선택부)는 3D 모델의 좌표계에 있어서의 시청 위치 및 시선 방향, 그리고, 수신부(121)로부터 공급되는 2차원 평면 정보에 기초하여, 5개의 2차원면 중, 시청자의 시선에 가장 가까운 법선에 대응하는 1개의 2차원 평면을 선택면으로 결정한다.
구체적으로는, 시선 검출부(128)는 시청 위치로부터 시선 방향으로 연장되는 시선과 기준축이 이루는 수평 방향 및 수직 방향의 각도 및 시선의 회전각에 가장 가까운, 방위각 및 앙각 및 회전각에 대응하는 2차원 평면의 ID를 선택면의 ID로서 취득한다.
이에 의해, 시선 검출부(128)는 시청자의 시야 범위에 투시 투영되는 고해상도 화상의 비율이 가장 높아지도록, 그 고해상도 화상에 대응하는 2차원 평면을 선택면으로서 선택할 수 있다. 시선 검출부(128)는 선택면 정보를 수신부(123)에 공급하고, 선택면의 2차원 평면 정보를 매핑 처리부(125)에 공급한다.
또한, 시선 검출부(128)는 3D 모델의 좌표계에 있어서의 시청 위치와 시선 방향에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시야 범위를 결정한다. 시선 검출부(128)는 시청자의 시야 범위와 시청 위치를 묘화부(126)에 공급한다.
(매핑의 설명)
도 9는, 도 8의 매핑 처리부(125)에 의한 매핑을 설명하는 도면이다.
도 9의 예에서는, 시청 위치가 구(40)의 중심(O)이다. 이 경우, 중심(O)으로부터 시선 방향으로 연장되는 시선(141)과 기준축이 이루는 수평 방향 및 수직 방향의 각도 및 시선(141)의 회전각에 가장 가까운, 방위각 및 앙각 및 회전각에 대응하는, 중심(O)으로부터 화살표(142)의 방향으로 연장되는 선을, 중심을 통과하는 법선으로 하는 2차원 평면(143)이 선택면으로서 선택된다.
따라서, 매핑 처리부(125)는 구(40)의 내측에 2차원 평면(143)을 3D 모델로서 설정한다. 그리고, 매핑 처리부(125)는 3D 모델로서의 구(40)에 저해상도 화상(151)을 텍스처로서 매핑하고, 3D 모델로서의 2차원 평면(143)에 고해상도 화상(152)을 텍스처로서 매핑한다.
이상과 같이, 2차원 평면(143)은 구(40)의 내부에 배치된다. 따라서, 묘화부(126)는 저해상도 화상(151)과 고해상도 화상(152)의 양쪽이 존재하는 방향으로부터, 2차원 평면(143)보다 내측의 시야 범위에 투시 투영을 행할 때, 저해상도 화상(151)에 비하여 고해상도 화상(152)을 우선적으로 사용할 수 있다.
(표시 화상의 예)
도 10은, 표시 화상의 예를 도시하는 도면이다.
도 10의 예에서는, 시청 위치가 구(40)의 중심(O)이다. 또한, 도 10의 직사각형은, 고해상도 화상 또는 저해상도 화상의 16화소×16화소의 블록을 나타내고 있다. 이 블록은, 예를 들어 고해상도 화상과 저해상도 화상의 부호화 방식이 AVC 방식인 경우, 부호화 단위가 된다.
도 10의 A에 도시하는 바와 같이, 시청자가 소정의 2차원 평면을 정면으로서 시청하는 경우, 표시 화상(170)의 중앙에는 고해상도 화상(171)이 배치된다. 도 10의 A의 예에서는, 표시 화상(170)의 사이즈가 고해상도 화상(171)의 사이즈보다 크기 때문에, 표시 화상(170)의 양단에는 저해상도 화상(172)이 배치되어 있다.
도 10의 B에 도시하는 바와 같이, 시청자의 시선 방향이 비스듬하게 상측 방향일 경우, 시선에 가장 가까운 법선에 대응하는 2차원 평면(도 10의 B의 예에서는, 앙각이 45도인 2차원 평면)의 고해상도 화상(181)이 표시 화상(180)의 중앙에 배치된다. 또한, 도 10의 B에 도시하는 바와 같이, 표시 화상(180)의 고해상도 화상(181) 이외의 영역에는, 저해상도 화상(182)이 배치된다. 도 10의 B에 도시하는 바와 같이, 표시 화상(180) 중, 구(40)의 극부 부근에 매핑되는 저해상도 화상(182)의 블록 밀도는, 구(40)의 중앙부 부근에 매핑되는 저해상도 화상(182)의 블록 밀도에 비하여 크다.
도 10의 C에 도시하는 바와 같이, 시청자의 시선 방향이 상측 방향일 경우, 시선에 가장 가까운 법선에 대응하는 2차원 평면(도 10의 C의 예에서는, 앙각이 90도인 2차원 평면)의 고해상도 화상(181)이 표시 화상(190)의 중앙에 배치된다. 또한, 도 10의 C에 도시하는 바와 같이, 표시 화상(190)의 고해상도 화상(191) 이외의 영역에는, 저해상도 화상(192)이 배치된다.
도 10의 C의 예에서는, 고해상도 화상에 대응하는 2차원 평면의 앙각이 90도이기 때문에, 표시 화상(190) 내의 구(40)의 극부 방향에 대응하는 영역은, 고해상도 화상(191)이다. 즉, 표시 화상(190) 내의, 저해상도 화상에 있어서 비교적 큰 왜곡이 발생하는, 구(40)의 극부 방향에 대응하는 영역은, 왜곡이 발생하지 않는 고해상도 화상(191)이다. 따라서, 구(40)의 극부 방향에 대응하는 영역이 저해상도 화상(192)인 경우에 비하여, 표시 화상(190)의 화질을 향상시킬 수 있다.
또한, 도 10의 A 내지 도 10의 C에 도시하는 바와 같이, 저해상도 화상(172(182, 192))은 고해상도 화상(171(181, 191))에 비하여 해상도가 작다. 따라서, 저해상도 화상(172(182, 192))의 블록이 배치되는 표시 화상(170(180, 190)) 내의 영역의 사이즈는, 고해상도 화상(171(181, 191))의 블록이 배치되는 표시 화상(170(180, 190)) 내의 영역의 사이즈에 비하여 크게 되어 있다.
이상과 같이, 도 10의 A 내지 도 10의 C의 예에서는, 표시 화상(170(180, 190))의 전체 영역 중의, 해상도가 시각에 크게 영향을 미치는 중앙에 고해상도 화상(171(181, 191))이 배치된다. 따라서, 표시 화상(170(180, 190))의 중앙에 저해상도 화상(172(182, 192))이 배치되는 경우에 비하여, 표시 화상(170(180, 190))의 화질을 향상시킬 수 있다.
(재생 장치의 처리의 설명)
도 11은, 도 8의 재생 장치(15)의 재생 처리를 설명하는 흐름도이다. 이 재생 처리는, 예를 들어, 시청자의 요구에 따라서 개시된다.
도 11의 스텝 S31에 있어서, 재생 장치(15)의 수신부(121)는 배신 서버(13)에 2차원 평면 정보를 요구하고, 그 요구에 따라서 송신부(103)로부터 송신되어 오는 2차원 평면 정보를 수취한다. 수신부(121)는 2차원 평면 정보를 시선 검출부(128)에 공급한다.
스텝 S32에 있어서, 수취부(127)는 도 2의 자이로 센서(16B)의 검출 결과를 헤드 마운트 디스플레이(16)로부터 수취하고, 시선 검출부(128)에 공급한다.
스텝 S33에 있어서, 시선 검출부(128)는 수취부(127)로부터 공급되는 자이로 센서(16B)의 검출 결과에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시선 방향을 결정한다.
스텝 S34에 있어서, 시선 검출부(128)는 카메라(15A)로부터 마커(16A)의 촬영 화상을 취득하고, 그 촬영 화상에 기초하여 3D 모델의 좌표계에 있어서의 시청 위치를 검출한다.
스텝 S35에 있어서, 시선 검출부(128)는 3D 모델의 좌표계에 있어서의 시청 위치 및 시선 방향, 그리고, 수신부(121)로부터 공급되는 2차원 평면 정보에 기초하여, 5개의 2차원면 중 시청자의 시선에 가장 가까운 1개의 2차원 평면을 선택면으로 결정한다. 시선 검출부(128)는 선택면의 선택면 정보를 수신부(123)에 공급하고, 선택면의 2차원 평면 정보를 매핑 처리부(125)에 공급한다.
스텝 S36에 있어서, 시선 검출부(128)는 3D 모델의 좌표계에 있어서의 시청 위치와 시선 방향에 기초하여, 3D 모델의 좌표계에 있어서의 시청자의 시야 범위를 결정한다. 시선 검출부(128)는 시청자의 시야 범위와 시청 위치를 묘화부(126)에 공급한다.
스텝 S37에 있어서, 수신부(123)는 시선 검출부(128)로부터 공급되는 선택면 정보에 의해 특정되는 선택면의 1개의 고해상도 스트림을 배신 서버(13)에 요구하고, 그 요구에 따라서 송신부(104)로부터 송신되어 오는 1개의 고해상도 스트림을 수취한다. 수신부(123)는 수취된 1개의 고해상도 스트림을 디코더(124)에 공급한다.
스텝 S38에 있어서, 디코더(124)는 수신부(123)로부터 공급되는 1개의 고해상도 스트림을 복호하여, 고해상도 화상을 생성한다. 디코더(124)는 고해상도 화상을 매핑 처리부(125)에 공급한다.
스텝 S39에 있어서, 매핑 처리부(125)는 시선 검출부(128)로부터 공급되는 선택면의 2차원 평면 정보에 기초하여, 미리 3D 모델로서 설정되어 있는 구의 내부에 선택면을 3D 모델로서 설정한다.
스텝 S40에 있어서, 매핑 처리부(125)는 디코더(124)로부터 공급되는 고해상도 화상을, 3D 모델로서 설정된 선택면에 텍스처로서 매핑한다.
스텝 S41에 있어서, 수신부(121)는 배신 서버(13)에 1개의 저해상도 스트림을 요구하고, 그 요구에 따라서 송신부(103)로부터 송신되어 오는 1개의 저해상도 스트림을 수취한다. 수신부(121)는 1개의 저해상도 스트림을 디코더(122)에 공급한다.
스텝 S42에 있어서, 디코더(122)는 수신부(121)로부터 공급되는 저해상도 스트림을 복호하여, 저해상도 화상을 생성한다. 디코더(122)는 저해상도 화상을 매핑 처리부(125)에 공급한다.
스텝 S43에 있어서, 매핑 처리부(125)는 디코더(122)로부터 공급되는 저해상도 화상을, 3D 모델로서의 구에 텍스처로서 매핑한다. 매핑 처리부(125)는 구와 2차원 평면에 텍스처가 매핑된 3D 모델 화상을 묘화부(126)에 공급한다.
스텝 S44에 있어서, 묘화부(126)는 매핑 처리부(125)로부터 공급되는 3D 모델 화상을, 시선 검출부(128)로부터 공급되는 시청 위치를 초점으로 하여, 시청자의 시야 범위에 투시 투영함으로써, 시청자의 시야 범위의 화상을 표시 화상으로서 생성한다.
스텝 S45에 있어서, 묘화부(126)는 표시 화상을 헤드 마운트 디스플레이(16)에 송신하여 표시시킨다. 스텝 S46에 있어서, 재생 장치(15)는 재생을 종료할지 여부, 예를 들어 시청자에 의해 재생의 종료가 요구되었는지 여부를 판정한다.
스텝 S46에서 재생을 종료하지 않는다고 판정된 경우, 처리는 스텝 S31로 되돌아가서, 재생을 종료한다고 판정될 때까지, 스텝 S31 내지 S46의 처리가 반복된다. 한편, 스텝 S46에서 재생을 종료한다고 판정된 경우, 처리를 종료한다.
또한, 상술한 설명에서는, 2차원 평면의 수는 5개인 것으로 했지만, 2차원 평면의 수는 5개에 한정되지 않는다. 2차원 평면의 수가 많을수록, 재생 장치(15)는 시청자의 시선에 보다 가까운 법선에 대응하는 고해상도 화상을 사용하여 표시 화상을 생성할 수 있다. 따라서, 표시 화상에 있어서의 고해상도 화상의 비율이 많아지고, 그 결과, 표시 화상의 화질이 향상된다. 그러나, 고해상도 스트림의 개수가 증가하기 때문에, 필요한 스토리지(102)의 기억 용량과 고해상도 스트림을 생성하기 위한 생성 장치(12)의 처리량이 증가한다.
또한, 2차원 평면 테이블에는, 2차원 평면 정보, 가로 화소수, 및 세로 화소수 중 고정값 이외가 등록되게 해도 된다. 또한, 2차원 평면은, 1 이상의 프레임 단위로 설정되어도 되고, 씬 단위로 설정되어도 된다.
(2차원 평면의 제2 예)
도 12는, 2차원 평면의 수가 5개 이외인 경우의 2차원 평면의 예를 도시하는 도면이다.
또한, 도 12에 있어서, 화살표는 각 2차원 평면의 중심을 통과하는 법선을 나타내고 있다.
도 12의 A에 도시하는 바와 같이, 설정부(25)는 2차원 평면으로서, 구(40)의 중심(O)을 중심으로 하는 입방체(210)의 6개의 각 면(211 내지 216)을 설정할 수도 있다. 이 경우, 6개의 2차원 평면의 중심을 통과하는 법선은, 중심(O)을 통과하고, 서로 직교하는 3축의 양방향 합계 6개의 선이다. 또한, 모든 2차원 평면의 가로 화각과 세로 화각은 90도이며, 각 2차원 평면은 중첩되지 않는다.
즉, 이 경우, 2차원 평면의 고해상도 화상은, 큐브 매핑에 의해 생성된 전천구 화상을 3D 모델로서의 입방체의 면 단위로 분할한 화상이다. 또한, 큐브 매핑이란, 3D 모델로서의 입방체에 화상을 매핑하고, 화상이 매핑된 입방체의 전개도를 전천구 화상으로 하는 전천구 화상의 생성 방법이다.
또한, 도 12의 B에 도시하는 바와 같이, 설정부(25)는 각 2차원 평면의 중심을 통과하는 법선이, 입방체(210)의 12개의 각 변의 중점과 중심(O)을 통과하는 선이도록, 12개의 2차원 평면을 설정할 수도 있다. 이 경우, 도 12의 A의 경우에 비하여, 인접하는 2차원 평면 간의 각도가 작아지기 때문에, 재생 장치(15)는 시선에 보다 가까운 법선에 대응하는 2차원 평면을 선택면으로 할 수 있다. 그 결과, 표시 화상 내의 고해상도 화상의 비율이 커져서, 표시 화상의 화질이 향상된다.
또한, 도 12의 C에 도시하는 바와 같이, 설정부(25)는 각 2차원 평면의 중심을 통과하는 법선이, 입방체(210)의 12개의 각 변의 중점과 중심(O)을 통과하는 선, 및 입방체(210)의 6개의 각 면(211 내지 216)의 중심과 중심(O)을 통과하는 선이도록, 18개의 2차원 평면을 설정할 수도 있다. 이 경우, 2차원 평면은, 면(211 내지 216)과 도 12의 B의 경우의 2차원 평면이다.
도 12의 A 및 도 12의 C의 예에서는, 면(211 내지 216)에 대응하는 고해상도 화상을 모두 사용함으로써, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 모든 시선 방향에 대응하는 표시 화상을 생성할 수 있다.
(전천구 화상의 생성 방법의 다른 예)
상술한 설명에서는, 전천구 화상은, 정거 원통 도법을 사용한 방법에 의해 생성되었지만, 전천구 화상의 생성 방법은 이 방법에 한정되지 않는다.
도 13은, 정거 원통 도법을 사용한 방법 이외의 전천구 화상의 생성 방법의 예를 설명하는 도면이다.
도 13의 전천구 화상의 생성 방법에서는, 도 13의 A에 도시하는 바와 같이, 촬영 화상이, 3D 모델로서의 정팔면체(230)에 매핑된다. 그리고, 정팔면체(230)의 정삼각형의 각 면(231 내지 238)에 매핑된 화상의 형상이 직각삼각형으로 변형되고, 도 13의 B에 도시하는 바와 같이, 각 직각삼각형의 화상(241 내지 248)을 조합함으로써, 정사각형의 전천구 화상(240)이 생성된다.
도 13의 생성 방법으로 전천구 화상이 생성되는 경우, 2차원 평면(261)은 정팔면체(230)의 내부에 배치된다. 또한, 매핑 처리부(125)에서 저해상도 화상이 매핑되는 3D 모델은, 정팔면체(230)이다.
전천구 화상의 생성 방법은, 도 13의 방법 이외에, 큐브 매핑 등이어도 된다. 또한, 저해상도 화상의 저해상도화 전의 전천구 화상의 생성 방법과, 고해상도 화상의 생성에 사용되는 전천구 화상의 생성 방법은 상이해도 된다.
(저해상도 화상의 다른 예)
도 14는, 저해상도 화상의 다른 예를 도시하는 도면이다.
상술한 설명에서는, 저해상도 화상은, 하나의 시점의 전천구 화상을 저해상도화한 화상이었지만, 좌안용 시점과 우안용 시점의 전천구 화상을 각각 저해상도화한 화상을 합성(패킹)한 화상이어도 된다.
구체적으로는, 도 14의 A에 도시하는 바와 같이, 저해상도 화상은, 예를 들어, 좌안용 시점의 전천구 화상을 저해상도화한 저해상도 화상(421)과 우안용 시점의 전천구 화상을 저해상도화한 저해상도 화상(422)이 가로 방향(수평 방향)으로 패킹된 패킹 화상(420)(저해상도 패킹 화상)이어도 된다.
또한, 도 14의 B에 도시하는 바와 같이, 저해상도 화상은, 예를 들어, 좌안용 시점의 저해상도 화상(421)과 우안용 시점의 저해상도 화상(422)이 세로 방향(수직 방향)으로 패킹된 패킹 화상(440)(저해상도 패킹 화상)이어도 된다.
마찬가지로, 각 2차원 평면의 고해상도 화상은, 그 2차원 평면의 좌안용 시점의 고해상도 화상과 우안용 시점의 고해상도 화상이 가로 방향 또는 세로 방향으로 패킹된 패킹 화상(고해상도 패킹 화상)이어도 된다. 소정의 2차원 평면의 좌안용 시점의 고해상도 화상은, 구에 매핑된 좌안용 시점의 전천구 화상을, 구의 중심을 초점으로 하여, 그 2차원 평면에 투시 투영함으로써 얻어지는 화상이다. 또한, 소정의 2차원 평면의 우안용의 고해상도 화상은, 구에 매핑된 우안용 시점의 전천구 화상을, 구의 중심을 초점으로 하여, 그 2차원 평면에 투시 투영함으로써 얻어지는 화상이다.
저해상도 화상과 고해상도 화상이 패킹 화상일 경우, 도 8의 매핑 처리부(125)는 디코더(122)에 의한 복호의 결과 얻어지는 패킹 화상을 좌안용 시점의 저해상도 화상과 우안용 시점의 저해상도 화상으로 분리한다. 또한, 매핑 처리부(125)는 디코더(124)에 의한 복호의 결과 얻어지는 패킹 화상을 좌안용 시점의 고해상도 화상과 우안용 시점의 고해상도 화상으로 분리한다. 그리고, 매핑 처리부(125)는 좌안용 시점 및 우안용 시점 각각에 대해서 3D 모델 화상을 생성하고, 묘화부(126)는 좌안용 시점 및 우안용 시점 각각에 대해서, 3D 모델 화상을 사용하여 표시 화상을 생성한다.
이에 의해, 헤드 마운트 디스플레이(16)는 3D 표시 가능한 경우, 좌안용 시점 및 우안용 시점의 표시 화상을, 각각, 좌안용의 화상, 우안용이 화상으로서 표시함으로써, 표시 화상을 3D 표시할 수 있다.
이상과 같이, 배신 시스템(10)의 생성 장치(12)는 전천구 화상을 복수의 2차원 평면에 투시 투영함으로써 고해상도 화상을 생성한다. 따라서, 고해상도 화상의 3D 모델 상의 형상은 왜곡되지 않는다.
따라서, 재생 장치(15)는 등방성을 갖는 고해상도 화상을 사용하여 표시 화상을 생성할 수 있다. 그 결과, 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있다. 또한, 표시 화상 내의 고해상도 화상의 영역을 사용하여, 왜곡이 정밀도에 크게 영향을 미치는 얼굴 인식 처리 등의 일반적인 화상 처리를 고정밀도로 행할 수 있다.
또한, 3D 모델 상의 움직임과 고해상도 화상 상의 움직임이 일치하기 때문에, 고해상도 화상에 대하여 움직임 보상을 사용한 부호화를 고정밀도로 행할 수 있다. 또한, 고해상도 화상에 있어서 균일한 비트 배분을 행할 수 있다.
또한, 재생 장치(15)는 시선 방향에 대응하는 2차원 평면의 고해상도 스트림만을 배신 서버(13)에 요구하여 수취한다. 따라서, 모든 2차원 평면의 고해상도 스트림을 수취하는 경우에 비하여, 배신 서버(13)와 재생 장치(15) 간의 전송량을 삭감할 수 있다.
또한, 생성 장치(12)는 전천구 화상 전체를 저해상도화하여 저해상도 화상을 생성한다. 따라서, 생성 장치(12)는 표시 화상이 고해상도 화상의 영역 이외의 영역에도 대응하는 경우나, 시청자의 시선 방향이 갑자기 변화하는 경우에도, 저해상도 화상을 사용하여 표시 화상을 생성할 수 있다. 또한, 배신 시스템(10)은 전천구 화상 전체의 부호화 스트림만을 재생하는 재생 장치와의 호환성을 가질 수 있다.
또한, 생성 장치(12)는 저해상도 스트림과 선택면의 고해상도 스트림을 수취하고, 표시 화상을 생성한다. 따라서, 하나의 해상도의 전천구 화상의 부호화 스트림을 수취하고, 표시 화상을 생성하는 경우에 비하여, 동일한 전송량이나 처리량으로 표시 화상의 해상도를 향상시킬 수 있다.
또한, 생성 장치(12)는 임의의 위치, 기울기, 및 사이즈로 2차원 평면을 설정할 수 있다. 따라서, 생성 장치(12)는 임의의 시선 방향에 대응하는 고해상도 화상을 생성할 수 있다. 이에 비해, 정거 원통 도법을 사용한 방법에 의해 생성된 전천구 화상을 분할함으로써 고해상도 화상을 생성하는 경우, 전천구 화상에 있어서 가로 방향으로 연장하는 영역에 대응하는, 구(40)의 극부에 매핑되는 화상을 고해상도 화상으로서 생성하는 것은 곤란하다.
또한, 생성 장치(12)는 촬영 화상으로부터, 저해상도 화상의 생성에 사용되는 전천구 화상을 생성하고, 그 전천구 화상으로부터 고해상도 화상을 생성한다. 따라서, 재생 장치(15)는 고해상도 화상과 저해상도 화상을 사용하여, 촬영 화상 그 자체를 고해상도 화상으로 하는 경우에 비하여 고해상도 화상의 영역과 저해상도 화상의 영역이 연속한 위화감이 없는 표시 화상을 생성할 수 있다.
또한, 2차원 평면은, 시청자에게 있어서 중요하다고 상정되는 피사체를 보는 것이 가능한 시선 방향의 범위인 중요 범위에 대응하여 고밀도로 설정되고, 중요 범위 이외의 범위에 대응하여 저밀도로 설정되거나, 또는, 설정되지 않도록 해도 된다. 이 경우, 시청자의 시선이 중요 범위 내에 있을 때, 재생 장치(15)는 시선에 보다 가까운 법선에 대응하는 2차원 평면의 고해상도를 사용하여 표시 화상을 생성할 수 있다. 따라서, 표시 화상에 있어서의 고해상도 화상의 비율이 많아지고, 그 결과, 표시 화상의 화질이 향상된다. 또한, 중요 범위 이외의 범위에 대응하는 고해상도 스트림의 개수는 적기 때문에, 고해상도 스트림의 개수의 증가를 억제할 수 있다.
또한, 고해상도 스트림, 저해상도 스트림, 및 2차원 평면 테이블은, 스토리지(102)에 기억되지 않고, 수신부(101)로부터 송신부(103)와 송신부(104)를 통하여 재생 장치(15)에 리얼타임 배신(라이브 배신)되게 해도 된다.
또한, 상술한 설명에서는, 촬영 화상은 동화상인 것으로 했지만, 정지 화상이어도 된다. 또한, 선택면의 수는 하나가 아니어도 된다.
배신 시스템(10)은 헤드 마운트 디스플레이(16) 대신에 설치형 디스플레이를 갖게 해도 된다. 이 경우, 재생 장치(15)는 카메라(15A)를 갖지 않고, 시청 위치 및 시선 방향은, 시청자가, 재생 장치(15) 또는 설치형 디스플레이와 접속하는 컨트롤러를 조작함으로써 입력된다.
또한, 배신 시스템(10)은 재생 장치(15)와 헤드 마운트 디스플레이(16) 대신에 모바일 단말기를 갖게 해도 된다. 이 경우, 모바일 단말기는, 카메라(15A) 이외의 재생 장치(15)의 처리를 행하고, 모바일 단말기가 갖는 디스플레이에 표시 화상을 표시시킨다. 시청자는, 시청 위치 및 시선 방향을 모바일 단말기의 자세를 변화시킴으로써 입력하고, 모바일 단말기는, 내장한 자이로 센서에 모바일 단말기의 자세를 검출시킴으로써, 입력된 시청 위치 및 시선 방향을 취득한다.
<제2 실시 형태>
본 개시를 적용한 배신 시스템의 제2 실시 형태의 구성은, 투시 투영 대신tan축 투영(상세는 후술한다)이 행하여지는 점을 제외하고, 도 2의 배신 시스템(10)의 구성과 동일하다. 따라서, 이하에서는, tan축 투영에 대해서만 설명한다.
(투영면의 좌표계의 설명)
도 15는, 투영면의 좌표계를 설명하는 도면이다.
또한, 제2 실시 형태에서는, 투영면은, 생성 장치(12)가 고해상도 화상을 생성할 때, 구에 매핑된 전천구 화상을 tan축 투영하는 2차원 평면, 또는, 재생 장치(15)가 표시 화상을 생성할 때, 3D 모델 화상을 tan축 투영하는 시야 범위이다.
도 15의 예에서는, 3D 모델의 3차원의 xyz 좌표계에 있어서, z가 -1.0인 투영면(501)이 설정되어 있다. 이 경우, 투영면(501)의 중심(O)'를 원점으로 하여 투영면(501)의 수평 방향을 s 방향으로 하고, 수직 방향을 t 방향으로 하는 2차원의 st 좌표계가 투영면(501)의 좌표계가 된다.
또한, 이하에서는, xyz 좌표계의 원점(O)으로부터 st 좌표계의 좌표(s, t)를 향하는 벡터(502)를 좌표(s,t)와, 원점(O)으로부터 투영면(501)까지의 거리인 -1.0을 사용하여, 벡터 (s,t,-1.0)이라고 한다.
(tan축 투영의 설명)
도 16은, tan축 투영(정접축 투영)을 설명하는 도면이다.
도 16은, 투영면(501)을 z의 부방향으로 본 도면이다. 도 16의 예에서는, st 좌표계에 있어서, 투영면(501)의 s값 및 t값의 최솟값은 -1.0이며, 최댓값은 1.0이다.
이 경우, 투시 투영에서는, 원점(O)으로부터 투영면(501) 상의 투영점을 향하는 투영 벡터가 벡터 (s',t',-1.0)이 되도록, 투영면(501) 상에 투영점이 설정된다. 또한, s'는, -1.0부터 1.0까지의 s값의 범위에 마련된 소정의 간격마다의 값이며, t'는 -1.0부터 1.0까지의 t값의 범위에 마련된 소정의 간격마다의 값이다. 따라서, 투시 투영에 있어서의 투영점은, 투영면(501) 상에서 균일하다.
이에 비해, 투영면(501)의 화각을 θw(도 16의 예에서는 π/2)라 하면, tan축 투영에서는, 투영 벡터가 벡터 (tan(s'*θw/2),tan(t'*θw/2),-1.0)이 되도록, 투영면(501) 상에 투영점이 설정된다.
구체적으로는, 벡터 (tan(s'*θw/2),tan(t'*θw/2),-1.0)은 s'*θw/2를 θ로 하고, t'*θw/2를 φ라 하면, 벡터 (tanθ,tanφ,-1.0)이 된다. 이때, 화각 θw가 π에 접근하면, tanθ나 tanφ는 무한대로 발산한다. 따라서, tanθ나 tanφ가 무한대로 발산하지 않도록, 벡터 (tanθ,tanφ,-1.0)이 벡터 (sinθ*cosφ,cosθ*sinφ,-cosθ*cosφ)로 보정되어, 투영 벡터가 벡터 (sinθ*cosφ,cosθ*sinφ,-cosθ*cosφ)가 되도록, 투영면(501) 상에 투영점이 설정된다. 따라서, tan축 투영에서는, 인접하는 투영점에 대응하는 투영 벡터끼리가 이루는 각이 동일해진다.
또한, 대수축(로그 스케일)과 마찬가지로, tan(s'*θw/2), tan(t'*θw/2)는 tan축의 s', t'라고 파악할 수 있다. 따라서, 본 명세서에서는, 투영 벡터가 벡터 (tan(s'*θw/2),tan(t'*θw/2),-1.0)이 되는 투영을, tan축 투영이라고 칭하고 있다.
(투시 투영과 tan축 투영에 있어서의 투영점의 설명)
도 17은, 투시 투영과 tan축 투영에 있어서의 투영점을 설명하는 도면이다.
도 17은, 투영면(501)을 y의 부방향으로 본 도면이다. 도 17의 예에서는, 투영면(501) 상에 투영점이 9개 배치된다.
이 경우, 도 17에 도시하는 바와 같이, 투시 투영에서는, 투영점(P1 내지 P9)이 투영면(501) 상에 동일한 간격 d로 배치된다. 따라서, 투영점(P1 내지 P9)에 대응하는, 구(511)에 매핑된 전천구 화상 상의 점(P1'내지 P9')의 간격 d'는 등간격이 아니다. 즉, 간격 d'는, 투영 벡터에 의존하고, 투영면(501)의 중앙에 가까운 투영점일수록 간격 d'가 넓다.
이에 비해, tan축 투영에서는, 투영점(Q1 내지 Q9)이, 인접하는 투영점의 투영 벡터끼리가 이루는 각도가 동일한 각도 α가 되게 배치된다. 따라서, 투영점(Q1 내지 Q9)에 대응하는, 구(511)에 매핑된 전천구 화상 상의 점(Q1'내지 Q9')의 간격은 동일한 간격 d"로 된다.
(투시 투영과 tan축 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 예)
도 18은, 투시 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 예를 도시하는 도면이며, 도 19는, tan축 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 예를 도시하는 도면이다.
또한, 도 18 및 도 19에서는, 고해상도 화상 상의 전천구 화상의 각 화소의 경계를 백선으로 도시하고 있다. 이것은, 후술하는 도 20에 있어서도 마찬가지이다. 또한, 도 18 및 도 19의 예에서는, 투영면으로서의 2차원 평면이, 도 12의 A의 여섯 면(211 내지 216)이다. 이것은, 후술하는 도 21에 있어서도 마찬가지이다.
이 경우, 도 18에 도시하는 바와 같이, 구에 매핑된 전천구 화상의 각 화소가, 면(211 내지 216)의 각각에 투시 투영됨으로써 생성되는 고해상도 화상(521 내지 526) 상의 전천구 화상의 화소(530)(도면 중 백선으로 둘러싸인 직사각형)의 밀도는, 화면의 중앙에 가까울수록 높아진다.
즉, 투영점의 간격이 면(211 내지 216) 상에서 동일한 투시 투영에서는, 구에 매핑된 전천구 화상 상의 투영점에 대응하는 점의 각도당의 밀도가, 면(211 내지 216)의 중앙에 가까운 투영점일수록 낮아진다. 따라서, 고해상도 화상(521 내지 526) 상의 전천구 화상의 화소(530)의 밀도는, 화면의 중앙에 가까울수록 높아진다.
이에 비해, 도 19에 도시하는 바와 같이, 구에 매핑된 전천구 화상의 각 화소가, 면(211 내지 216)의 각각에 tan축 투영됨으로써 생성되는 고해상도 화상(541 내지 546) 상의 전천구 화상의 화소(550)(도면 중 백선으로 둘러싸인 직사각형)의 밀도는, 대략 균일해진다.
즉, 투영점에 대응하는, 구에 매핑된 전천구 화상 상의 점의 간격이 동일한tan축 투영에서는, 투시 투영에 비하여, 구에 매핑된 전천구 화상 상의 투영점에 대응하는 점의 각도당의 밀도가 균일해진다. 따라서, 고해상도 화상(541 내지 546) 상의 전천구 화상의 화소(550)의 밀도는 대략 균일해진다. 그 결과, 고해상도 화상(541 내지 546)의 화질은, 전천구 화상의 화소 밀도가 균일하지 않은 고해상도 화상(521 내지 526)에 비하여 향상된다.
또한, 고해상도 화상(541)이나 고해상도 화상(546)의 각 화소(550)의 경계는 동심원을 그리지 않기 때문에, 고해상도 화상(541)이나 고해상도 화상(546)은 어안 렌즈에 의해 촬영된 촬영 화상과는 상이하다. 또한, 고해상도 화상(521 내지 526) 각각과, 고해상도 화상(541 내지 546) 각각은, 전천구 화상의 동일한 영역이 투영된 화상이기 때문에, 상호 변환이 가능하다.
도 20은, 투시 투영 및 tan축 투영에 의해 생성된 고해상도 화상 상의 전천구 화상의 각 화소의 다른 예를 도시하는 도면이다.
도 20의 상단에는, 2차원 평면의 화각 θw가, 60°, 90°, 120°, 150°, 170°인 경우에 투시 투영에 의해 생성된 고해상도 화상(561 내지 565)이 도시되어 있다.
또한, 도 20의 하단에는, 2차원 평면의 화각 θw가, 60°, 90°, 120°, 150°, 170°인 경우에 tan축 투영에 의해 생성된 고해상도 화상(571 내지 575)이 도시되어 있다.
도 20의 상단에 도시하는 바와 같이, 투시 투영에 의해 생성된 고해상도 화상(561 내지 565) 상의 전천구 화상의 화소 밀도, 화면 내의 위치에 따른 차는, 화각 θw가 클수록 커진다. 한편, 도 20의 하단에 도시하는 바와 같이, tan축 투영에 의해 생성된 고해상도 화상(571 내지 575)의 전천구 화상의 화소 밀도는, 화면 내에서 균일에 가깝다. 따라서, 화각 θw가 클수록, tan축 투영에 의해 생성된 고해상도 화상(571 내지 575)은 투시 투영에 의해 생성된 고해상도 화상(561 내지 565)에 비하여 화질이 향상된다.
또한, 투시 투영에 의해 생성된 고해상도 화상(561 내지 565)의 화면 중앙의 전천구 화상의 화소 밀도는, 화각 θw가 클수록 높아진다. 따라서, 예를 들어, 화각 θw가 120°인 고해상도 화상(563)의 화면 중앙의 해상도는, 화각 θw가 90°인 고해상도 화상(562)에 비하여 저하된다.
한편, tan축 투영에 의해 생성된 고해상도 화상(571 내지 575) 전체의 전천구 화상의 화소 밀도는, 화각 θw가 클수록 높아지지만, 화면 내에서 균일에 가깝다. 따라서, tan축 투영에서는, 투시 투영에 비하여, 화각 θw가 커질수록 화면 중앙의 전천구 화상의 화소 밀도가 높아지는 것을 억제할 수 있다.
예를 들어, 화각 θw가 120°이며, tan축 투영에 의해 생성되는 고해상도 화상(573)의 화면 중앙에 있어서의 전천구 화상의 화소 밀도는, 화각 θw가 90°이며, 투시 투영에 의해 생성되는 고해상도 화상(562)의 화면 중앙에 있어서의 전천구 화상의 화소 밀도와 대략 동등해진다. 그 결과, tan축 투영에서는, 투시 투영에 비하여, 화면 중앙의 중요한 영역의 해상도를 향상시킬 수 있다.
또한, 도시는 생략하지만, 고해상도 화상(521 내지 526)이 입방체의 각 면에 텍스처로서 매핑되고, 인접하는 두 면의 경계가 화면 중앙에 투영되도록 투시 투영이 행하여지면, 그 경계에 가까울수록, 투시 투영된 전천구 화상의 화소 밀도가 높아진다. 마찬가지로, 인접하는 세 면의 경계가 화면 중앙에 투영되도록 투시 투영이 행하여지면, 그 경계에 가까울수록, 투시 투영된 전천구 화상의 화소 밀도가 높아진다. 즉, 고해상도 화상(521 내지 526)이 매핑된 입방체의 정점 부근으로부터 투시 투영된 전천구 화상의 화소 밀도는, 다른 영역에 비하여 높아진다.
(2차원 평면 테이블의 구성예)
도 21은, 제2 실시 형태에 있어서의 2차원 평면 테이블의 구성예를 도시하는 도면이다.
도 21의 2차원 평면 테이블의 구성은, 새롭게 2차원 평면에의 투영의 방식이 투영 방식으로서 등록되는 점을 제외하고, 도 6의 구성과 동일하다. 구체적으로는, 제2 실시 형태에서는, 2차원 평면에의 투영의 방식이 tan축 투영이기 때문에, 도 21의 2차원 평면 테이블에는, ID로서의 1 내지 5에 대응짓고, 투영 방식으로서 tan축 투영이 등록된다.
또한, 제1 실시 형태에 있어서도, 제2 실시 형태와 마찬가지로, 2차원 평면 테이블에 투영 방식이 등록되게 해도 되고, 제2 실시 형태에 있어서, 제1 실시 형태와 마찬가지로, 2차원 평면 테이블에 투영 방식이 등록되지 않도록 해도 된다.
이상과 같이, 제2 실시 형태에서는, 구에 매핑된 전천구 화상을 2차원 평면에 tan축 투영함으로써 고해상도 화상을 생성하므로, 고해상도 화상의 화질을 향상시킬 수 있다. 또한, 3D 모델 화상을 시야 범위에 tan축 투영함으로써 표시 화상을 생성하므로, 표시 화상의 화질을 향상시킬 수 있다.
또한, 고해상도 화상이나 표시 화상을 생성할 때에 행하여지는 투영은, 투시 투영, tan축 투영 이외여도 된다. 또한, 2차원 평면마다 투영 방식이 상이하게 해도 된다.
<제3 실시 형태>
(본 개시를 적용한 컴퓨터의 설명)
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 22는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)에 의해 서로 접속되어 있다.
버스(904)에는, 또한, 입출력 인터페이스(905)가 접속되어 있다. 입출력 인터페이스(905)에는, 입력부(906), 출력부(907), 기억부(908), 통신부(909), 및 드라이브(910)가 접속되어 있다.
입력부(906)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(907)는 디스플레이, 스피커 등을 포함한다. 기억부(908)는 하드 디스크나 불휘발성이 메모리 등을 포함한다. 통신부(909)는 네트워크 인터페이스 등을 포함한다. 드라이브(910)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(911)를 구동한다.
이상과 같이 구성되는 컴퓨터(900)에서는, CPU(901)가, 예를 들어, 기억부(908)에 기억되어 있는 프로그램을, 입출력 인터페이스(905) 및 버스(904)를 통하여, RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행하여진다.
컴퓨터(900)(CPU(901))가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 미디어(911)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(900)에서는, 프로그램은, 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 통하여 기억부(908)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(909)에서 수신하고, 기억부(908)에 인스톨할 수 있다. 기타, 프로그램은, ROM(902)이나 기억부(908)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(900)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 또는 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.
<응용예>
본 개시에 관한 기술은 여러가지 제품에 응용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등 중 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 23은, 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 도시하는 블록도이다. 차량 제어 시스템(7000)은 통신 네트워크(7010)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 23에 도시한 예에서는, 차량 제어 시스템(7000)은 구동계 제어 유닛(7100), 바디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500), 및 통합 제어 유닛(7600)를 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는 예를 들어, CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크이면 된다.
각 제어 유닛은, 각종 프로그램에 따라서 연산 처리를 행하는 마이크로컴퓨터와, 마이크로컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통하여 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차내외의 장치 또는 센서 등과의 사이에서, 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 23에서는, 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차량 탑재 네트워크 I/F(7680) 및 기억부(7690)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(7100)은 각종 프로그램에 따라서 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들어, 구동계 제어 유닛(7100)은 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(7100)은 ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 가져도 된다.
구동계 제어 유닛(7100)에는 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들어, 차체의 축 회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 또는, 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전 속도 등을 검출하기 위한 센서 중 적어도 하나가 포함된다. 구동계 제어 유닛(7100)은 차량 상태 검출부(7110)로부터 입력되는 신호를 사용하여 연산 처리를 행하고, 내연 기관, 구동용 모터, 전동 파워스티어링 장치 또는 브레이크 장치 등을 제어한다.
바디계 제어 유닛(7200)은 각종 프로그램에 따라서 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들어, 바디계 제어 유닛(7200)은 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등 또는 포그 램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(7200)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(7200)은 이들 전파 또는 신호의 입력을 접수하고, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
배터리 제어 유닛(7300)은 각종 프로그램에 따라서 구동용 모터의 전력 공급원인 이차 전지(7310)를 제어한다. 예를 들어, 배터리 제어 유닛(7300)에는, 이차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은 이들 신호를 사용하여 연산 처리를 행하고, 이차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차외 정보 검출 유닛(7400)은 차량 제어 시스템(7000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들어, 차외 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차외 정보 검출부(7420) 중 적어도 한쪽이 접속된다. 촬상부(7410)에는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 중 적어도 하나가 포함된다. 차외 정보 검출부(7420)에는, 예를 들어, 현재의 날씨 또는 기상을 검출하기 위한 환경 센서, 또는, 차량 제어 시스템(7000)을 탑재한 차량의 주위의 다른 차량, 장해물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중 적어도 하나가 포함된다.
환경 센서는, 예를 들어, 우천을 검출하는 빗방울 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서, 및 강설을 검출하는 눈 센서 중 적어도 하나이면 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중 적어도 하나이면 된다. 이들 촬상부(7410) 및 차외 정보 검출부(7420)는 각각 독립한 센서 내지 장치로서 구비되어도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.
여기서, 도 24는, 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 나타낸다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들어, 차량(7900)의 프론트 노즈, 사이드미러, 리어 범퍼, 백 도어 및 차실 내의 앞유리의 상부 중 적어도 하나의 위치에 마련된다. 프론트 노즈에 구비되는 촬상부(7910) 및 차실 내의 앞유리의 상부에 구비되는 촬상부(7918)는 주로 차량(7900)의 전방의 화상을 취득한다. 사이드미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(7916)는 주로 차량(7900)의 후방의 화상을 취득한다. 차실 내의 앞유리의 상부에 구비되는 촬상부(7918)는 주로 선행 차량 또는, 보행자, 장해물, 신호기, 교통표지 또는 차선 등의 검출에 사용된다.
또한, 도 24에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(a)는, 프론트 노즈에 마련된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위(b, c)는, 각각 사이드미러에 마련된 촬상부(7912, 7914)의 촬상 범위를 나타내고, 촬상 범위(d)는, 리어 범퍼 또는 백 도어에 마련된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들어, 촬상부(7910, 7912, 7914, 7916)로 촬상된 화상 데이터가 중첩됨으로써, 차량(7900)을 상방으로부터 본 부감 화상이 얻어진다.
차량(7900)의 프론트, 리어, 사이드, 코너 및 차실 내의 앞유리의 상부에 마련되는 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들어 초음파 센서 또는 레이더 장치여도 된다. 차량(7900)의 프론트 노즈, 리어 범퍼, 백 도어 및 차실 내의 앞유리의 상부에 마련되는 차외 정보 검출부(7920, 7926, 7930)는, 예를 들어 LIDAR 장치여도 된다. 이들 차외 정보 검출부(7920 내지 7930)는 주로 선행 차량, 보행자 또는 장해물 등의 검출에 사용된다.
도 23으로 되돌아가서 설명을 계속한다. 차외 정보 검출 유닛(7400)은 촬상부(7410)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은 접속되어 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은 수신한 정보에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은 수신한 정보에 기초하여, 차외의 물체까지의 거리를 산출해도 된다.
또한, 차외 정보 검출 유닛(7400)은 수신한 화상 데이터에 기초하여, 사람, 차, 장해물, 표지 또는 노면 상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은 수신한 화상 데이터에 대하여 왜곡 보정 또는 위치 정렬 등의 처리를 행함과 함께, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(7400)은 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 사용하여 시점 변환 처리를 행해도 된다.
차내 정보 검출 유닛(7500)은 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들어, 운전자의 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실 내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들어, 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉은 탑승자 또는 스티어링 휠을 쥐는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다. 차내 정보 검출 유닛(7500)은 집음된 음성 신호에 대하여 노이즈 캔슬링 처리 등의 처리를 행해도 된다.
통합 제어 유닛(7600)은 각종 프로그램에 따라서 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는 예를 들어, 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성 인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는 예를 들어, 적외선 또는 기타의 전파를 이용한 리모트 컨트롤 장치여도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대 전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 기기여도 된다. 입력부(7800)는 예를 들어 카메라여도 되고, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 또는, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(7800)는 예를 들어, 상기 입력부(7800)를 사용하여 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)으로 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은, 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다.
기억부(7690)는 마이크로컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory), 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다. 또한, 기억부(7690)는 HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현해도 된다.
범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 여러가지 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(Global System of Mobile communications), WiMAX, LTE(Long Term Evolution) 또는 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록 상표)라고도 한다), Bluetooth(등록 상표) 등의 기타 무선 통신 프로토콜을 실장해도 된다. 범용 통신 I/F(7620)는, 예를 들어, 기지국 또는 액세스 포인트를 통하여, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 어플리케이션 서버 또는 제어 서버)에 접속해도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들어 P2P(Peer To Peer) 기술을 사용하여, 차량의 근방에 존재하는 단말기(예를 들어, 운전자, 보행자 또는 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와 접속해도 된다.
전용 통신 I/F(7630)는, 차량에 있어서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들어, 하위 레이어인 IEEE802.11p와 상위 레이어인 IEEE1609의 조합인 WAVE(Wireless Access in Vehicle Environment), DSRC(Dedicated Short Range Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장해도 된다. 전용 통신 I/F(7630)는, 전형적으로는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량과 집 간(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 중 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(7640)는 예를 들어, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들어, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신하여 측위를 실행하여, 차량의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(7640)는 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 갖는 휴대 전화, PHS 또는 스마트폰과 같은 단말기로부터 위치 정보를 취득해도 된다.
비콘 수신부(7650)는 예를 들어, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 또는 전자파를 수신하고, 현재 위치, 정체, 통행 금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비콘 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 된다.
차내 기기 I/F(7660)는, 마이크로컴퓨터(7610)와 차내에 존재하는 여러가지 차내 기기(7760) 간의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB)와 같은 무선 통신 프로토콜을 사용하여 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않은 접속 단자(및 필요하면 케이블)를 통하여, USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립해도 된다. 차내 기기(7760)는 예를 들어, 탑승자가 갖는 모바일 기기 또는 웨어러블 기기, 또는 차량에 반입되거나 또는 설치되는 정보 기기 중 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(7760)는 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(7660)는, 이들 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차량 탑재 네트워크 I/F(7680)는, 마이크로컴퓨터(7610)와 통신 네트워크(7010) 간의 통신을 중개하는 인터페이스이다. 차량 탑재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 의거하여, 신호 등을 송수신한다.
통합 제어 유닛(7600)의 마이크로컴퓨터(7610)는 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 하나를 통하여 취득되는 정보에 기초하여, 각종 프로그램에 따라서 차량 제어 시스템(7000)을 제어한다. 예를 들어, 마이크로컴퓨터(7610)는 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하고, 구동계 제어 유닛(7100)에 대하여 제어 명령을 출력해도 된다. 예를 들어, 마이크로컴퓨터(7610)는 차량의 충돌 회피 또는 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로컴퓨터(7610)는 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.
마이크로컴퓨터(7610)는 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차량 탑재 네트워크 I/F(7680) 중 적어도 하나를 통하여 취득되는 정보에 기초하여, 차량과 주변의 구조물이나 인물 등의 물체와의 사이의 3차원 거리 정보를 생성하여, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성해도 된다. 또한, 마이크로컴퓨터(7610)는 취득되는 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행 금지의 도로에의 진입 등의 위험을 예측하고, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들어, 경고음을 발생시키거나, 경고 램프를 점등시키거나 하기 위한 신호이면 된다.
음성 화상 출력부(7670)는 차량의 탑승자 또는 차외에 대하여 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중 적어도 한쪽의 출력 신호를 송신한다. 도 23의 예에서는, 출력 장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되어 있다. 표시부(7720)는 예를 들어, 온보드 디스플레이 및 헤드업 디스플레이 중 적어도 하나를 포함하고 있어도 된다. 표시부(7720)는 AR(Augmented Reality) 표시 기능을 갖고 있어도 된다. 출력 장치는, 이들 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치여도 된다. 출력 장치가 표시 장치인 경우, 표시 장치는, 마이크로컴퓨터(7610)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 여러가지 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는, 재생된 음성 데이터 또는 음향 데이터 등을 포함하는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
또한, 도 23에 도시한 예에 있어서, 통신 네트워크(7010)를 통하여 접속된 적어도 두 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 된다. 또는, 개개의 제어 유닛이 복수의 제어 유닛에 의해 구성되어도 된다. 또한, 차량 제어 시스템(7000)이, 도시되어 있지 않은 별도의 제어 유닛을 구비해도 된다. 또한, 상기 설명에 있어서, 어느 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖게 해도 된다. 즉, 통신 네트워크(7010)를 통하여 정보의 송수신이 되게 되어 있으면, 소정의 연산 처리가, 어느 제어 유닛에서 행하여지게 되어도 된다. 마찬가지로, 어느 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이, 통신 네트워크(7010)를 통하여 서로 검출 정보를 송수신해도 된다.
또한, 도 1 내지 도 21을 사용하여 설명한 본 실시 형태에 따른 배신 시스템(10)의 각 기능을 실현하기 위한 컴퓨터 프로그램을, 어느 제어 유닛 등에 실장할 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수도 있다. 기록 매체는, 예를 들어, 자기 디스크, 광 디스크, 광자기 디스크, 플래시 메모리 등이다. 또한, 상기 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통하여 배신되어도 된다.
이상 설명한 차량 제어 시스템(7000)에, 도 1 내지 도 21을 사용하여 설명한 본 실시 형태에 따른 배신 시스템(10)을 적용하는 경우, 예를 들어, 배신 시스템(10)의 촬영 장치(11)는 촬상부(7410)의 적어도 일부에 상당한다. 또한, 생성 장치(12), 배신 서버(13), 재생 장치(15)는 일체화되어, 마이크로컴퓨터(7610)와 기억부(7690)에 상당한다. 헤드 마운트 디스플레이(16)는 표시부(7720)에 상당한다. 또한, 배신 시스템(10)을 통합 제어 유닛(7600)에 적용하는 경우, 네트워크(14), 카메라(15A), 마커(16A), 및 자이로 센서(16B)는 마련되지 않고, 시청자인 탑승자의 입력부(7800)의 조작에 의해 시청자의 시선 방향 및 시청 위치가 입력된다. 이상과 같이 하여, 배신 시스템(10)을 도 23에 도시한 응용예의 통합 제어 유닛(7600)에 적용함으로써, 전천구 화상을 사용하여 생성되는 모든 시선 방향의 표시 화상의 화질을 동일 정도로 할 수 있다.
또한, 도 1 내지 도 21을 사용하여 설명한 배신 시스템(10)의 적어도 일부의 구성 요소는, 도 23에 도시한 통합 제어 유닛(7600)을 위한 모듈(예를 들어, 하나의 다이로 구성되는 집적 회로 모듈)에서 실현되어도 된다. 또는, 도 1 내지 도 21을 사용하여 설명한 배신 시스템(10)이 도 23에 도시한 차량 제어 시스템(7000)의 복수의 제어 유닛에 의해 실현되어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 중에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.
또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 개시는, 하나의 기능을 네트워크를 통하여 복수의 장치에 분담하고, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.
본 개시는, 이하와 같은 구성도 취할 수 있다.
(1)
전천구 화상을 저해상도화하는 저해상도화부와,
3D 모델에 매핑된 상기 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상을 생성하는 투영부
를 구비하는 생성 장치.
(2)
상기 저해상도화부에 의해 저해상도화된 상기 전천구 화상을 부호화하여, 저해상도 스트림을 생성하는 저해상도 부호화부와,
상기 투영부에 의해 생성된 상기 복수의 화상을 각각 부호화하여, 고해상도 스트림을 생성하는 고해상도 부호화부와,
상기 저해상도 부호화부에 의해 생성된 상기 저해상도 스트림과, 상기 고해상도 부호화부에 의해 생성된 상기 고해상도 스트림을 송신하는 송신부
를 더 구비하는
상기 (1)에 기재된 생성 장치.
(3)
상기 송신부는, 상기 복수의 2차원 평면의 위치를 나타내는 2차원 평면 정보를 송신하도록
구성된
상기 (2)에 기재된 생성 장치.
(4)
인접하는 상기 2차원 평면의 상기 화상끼리의 일부는 중복되도록
구성된
상기 (1) 내지 (3) 중 어느 하나에 기재된 생성 장치.
(5)
상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선이도록
구성된
상기 (1) 내지 (4) 중 어느 하나에 기재된 생성 장치.
(6)
상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선과, 상기 입방체의 각 면의 중심과 상기 입방체의 중심을 통과하는 선이도록
구성된
상기 (1) 내지 (4) 중 어느 하나에 기재된 생성 장치.
(7)
상기 전천구 화상은, 좌안용 시점의 전천구 화상과 우안용 시점의 전천구 화상을 포함하고,
상기 저해상도화부는, 저해상도화된 상기 좌안용 시점의 전천구 화상과 상기 우안용 시점의 전천구 화상을 패킹하여 저해상도 패킹 화상을 생성하고,
상기 투영부는, 상기 3D 모델에 매핑된 상기 좌안용 시점의 전천구 화상 및 상기 우안용 시점의 전천구 화상 각각을 상기 복수의 2차원 평면에 투영함으로써 생성된, 상기 좌안용 시점 및 상기 우안용 시점의 상기 복수의 화상을, 상기 2차원 평면마다 패킹하여 고해상도 패킹 화상을 생성하도록
구성된
상기 (1) 내지 (6) 중 어느 하나에 기재된 생성 장치.
(8)
생성 장치가,
전천구 화상을 저해상도화하는 저해상도화 스텝과,
3D 모델에 매핑된 상기 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상을 생성하는 투영 스텝
을 포함하는 생성 방법.
(9)
3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써 생성된 복수의 화상 중 적어도 하나의 화상과, 저해상도화된 상기 전천구 화상을 수취하는 수취부와,
상기 수취부에 의해 수취된 상기 화상 및 저해상도화된 상기 전천구 화상의 적어도 한쪽에 기초하여 표시 화상을 생성하는 묘화부
를 구비하는 재생 장치.
(10)
시청자의 시선 방향에 기초하여, 상기 복수의 화상으로부터, 상기 수취부에 의해 수취되는 상기 화상을 선택하는 선택부
를 더 구비하도록
구성된
상기 (9)에 기재된 재생 장치.
(11)
상기 수취부는, 상기 복수의 2차원 평면의 위치를 나타내는 2차원 평면 정보를 수취하고,
상기 선택부는, 상기 2차원 평면 정보와 상기 시선 방향에 기초하여 상기 화상을 선택하도록
구성된
상기 (10)에 기재된 재생 장치.
(12)
상기 화상을 상기 2차원 평면에 매핑하고, 저해상도화된 상기 전천구 화상을 상기 3D 모델에 매핑함으로써, 3D 모델 화상을 생성하는 매핑 처리부
를 더 구비하고,
상기 묘화부는, 상기 매핑 처리부에 의해 생성된 상기 3D 모델 화상을, 시청자의 시야 범위에 투영함으로써 상기 표시 화상을 생성하도록
구성된
상기 (9)에 기재된 재생 장치.
(13)
저해상도화된 상기 전천구 화상을 부호화함으로써 생성된 저해상도 스트림을 복호하여, 저해상도화된 상기 전천구 화상을 생성하는 저해상도 복호부와,
상기 복수의 화상 중 적어도 하나의 화상을 부호화함으로써 생성된 고해상도 스트림을 복호하여, 상기 화상을 생성하는 고해상도 복호부
를 더 구비하고,
상기 수취부는, 상기 저해상도 스트림과 상기 고해상도 스트림을 수취하도록
구성된
상기 (9) 내지 (12) 중 어느 하나에 기재된 재생 장치.
(14)
인접하는 상기 2차원 평면의 상기 화상끼리의 일부는 중복되도록
구성된
상기 (9) 내지 (13) 중 어느 하나에 기재된 재생 장치.
(15)
상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선이도록
구성된
상기 (9) 내지 (14) 중 어느 하나에 기재된 재생 장치.
(16)
상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선과, 상기 입방체의 각 면의 중심과 상기 입방체의 중심을 통과하는 선이도록
구성된
상기 (9) 내지 (14) 중 어느 하나에 기재된 재생 장치.
(17)
상기 저해상도화된 전천구 화상은, 저해상도화된 좌안용 시점의 전천구 화상과 우안용 시점의 전천구 화상을 패킹한 화상이며,
상기 복수의 화상은, 상기 2차원 평면마다, 상기 3D 모델에 매핑된 상기 좌안용 시점의 전천구 화상 및 상기 우안용 시점의 전천구 화상을 각각 상기 2차원 평면에 투영함으로써 생성된 화상을 패킹한 화상이도록
구성된
상기 (9) 내지 (11) 중 어느 하나에 기재된 재생 장치.
(18)
상기 묘화부는, 상기 수취부에 의해 수취된 상기 화상 및 상기 저해상도화된 전천구 화상을 시점마다 분리하고, 시점마다, 분할된 상기 화상 및 상기 저해상도화된 전천구 화상의 적어도 한쪽에 기초하여, 상기 표시 화상을 생성하도록
구성된
상기 (17)에 기재된 재생 장치.
(19)
재생 장치가,
3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써 생성된 복수의 화상 중 적어도 하나의 화상과, 저해상도화된 상기 전천구 화상을 수취하는 수취 스텝과,
상기 수취 스텝의 처리에 의해 수취된 상기 화상 및 저해상도화된 상기 전천구 화상의 적어도 한쪽에 기초하여 표시 화상을 생성하는 묘화 스텝
을 포함하는 재생 방법.
12: 생성 장치
23: 저해상도화부
24: 인코더
26-1 내지 26-5: 투시 투영부
27-1 내지 27-5: 인코더
29: 송신부
40: 구
41 내지 45: 2차원 평면
121: 수신부
122: 디코더
123: 수신부
124: 디코더
125: 매핑 처리부
126: 묘화부
128: 시선 검출부
143: 2차원 평면
151: 저해상도 화상
152: 고해상도 화상
170: 표시 화상
171: 고해상도 화상
172: 저해상도 화상
180: 표시 화상
181: 고해상도 화상
182: 저해상도 화상
190: 표시 화상
191: 고해상도 화상
192: 저해상도 화상

Claims (19)

  1. 전천구 화상을 저해상도화하는 저해상도화부와,
    3D 모델에 매핑된 상기 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상을 생성하는 투영부
    를 구비하고,
    상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선과, 상기 입방체의 각 면의 중심과 상기 입방체의 중심을 통과하는 선이도록 구성된, 생성 장치.
  2. 제1항에 있어서, 상기 저해상도화부에 의해 저해상도화된 상기 전천구 화상을 부호화하여, 저해상도 스트림을 생성하는 저해상도 부호화부와,
    상기 투영부에 의해 생성된 상기 복수의 화상을 각각 부호화하여, 고해상도 스트림을 생성하는 고해상도 부호화부와,
    상기 저해상도 부호화부에 의해 생성된 상기 저해상도 스트림과, 상기 고해상도 부호화부에 의해 생성된 상기 고해상도 스트림을 송신하는 송신부
    를 더 구비하는
    생성 장치.
  3. 제2항에 있어서, 상기 송신부는, 상기 복수의 2차원 평면의 위치를 나타내는 2차원 평면 정보를 송신하도록
    구성된, 생성 장치.
  4. 제1항에 있어서, 인접하는 상기 2차원 평면의 상기 화상끼리의 일부는 중복되도록
    구성된, 생성 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 전천구 화상은, 좌안용 시점의 전천구 화상과 우안용 시점의 전천구 화상을 포함하고,
    상기 저해상도화부는, 저해상도화된 상기 좌안용 시점의 전천구 화상과 상기 우안용 시점의 전천구 화상을 패킹하여 저해상도 패킹 화상을 생성하고,
    상기 투영부는, 상기 3D 모델에 매핑된 상기 좌안용 시점의 전천구 화상 및 상기 우안용 시점의 전천구 화상 각각을 상기 복수의 2차원 평면에 투영함으로써 생성된, 상기 좌안용 시점 및 상기 우안용 시점의 상기 복수의 화상을, 상기 2차원 평면마다 패킹하여 고해상도 패킹 화상을 생성하도록
    구성된, 생성 장치.
  8. 생성 장치가,
    전천구 화상을 저해상도화하는 저해상도화 스텝과,
    3D 모델에 매핑된 상기 전천구 화상을 복수의 2차원 평면에 투영함으로써, 복수의 화상을 생성하는 투영 스텝
    을 포함하고,
    상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선과, 상기 입방체의 각 면의 중심과 상기 입방체의 중심을 통과하는 선이도록 구성된, 생성 방법.
  9. 3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써 생성된 복수의 화상 중 적어도 하나의 화상과, 저해상도화된 상기 전천구 화상을 수취하는 수취부와,
    상기 수취부에 의해 수취된 상기 화상 및 저해상도화된 상기 전천구 화상의 적어도 한쪽에 기초하여 표시 화상을 생성하는 묘화부
    를 구비하고,
    상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선과, 상기 입방체의 각 면의 중심과 상기 입방체의 중심을 통과하는 선이도록 구성된, 재생 장치.
  10. 제9항에 있어서, 시청자의 시선 방향에 기초하여, 상기 복수의 화상으로부터, 상기 수취부에 의해 수취되는 상기 화상을 선택하는 선택부
    를 더 구비하도록
    구성된, 재생 장치.
  11. 제10항에 있어서, 상기 수취부는, 상기 복수의 2차원 평면의 위치를 나타내는 2차원 평면 정보를 수취하고,
    상기 선택부는, 상기 2차원 평면 정보와 상기 시선 방향에 기초하여 상기 화상을 선택하도록
    구성된, 재생 장치.
  12. 제9항에 있어서, 상기 화상을 상기 2차원 평면에 매핑하고, 저해상도화된 상기 전천구 화상을 상기 3D 모델에 매핑함으로써, 3D 모델 화상을 생성하는 매핑 처리부
    를 더 구비하고,
    상기 묘화부는, 상기 매핑 처리부에 의해 생성된 상기 3D 모델 화상을, 시청자의 시야 범위에 투영함으로써 상기 표시 화상을 생성하도록
    구성된, 재생 장치.
  13. 제9항에 있어서, 저해상도화된 상기 전천구 화상을 부호화함으로써 생성된 저해상도 스트림을 복호하여, 저해상도화된 상기 전천구 화상을 생성하는 저해상도 복호부와,
    상기 복수의 화상 중 적어도 하나의 화상을 부호화함으로써 생성된 고해상도 스트림을 복호하여, 상기 화상을 생성하는 고해상도 복호부
    를 더 구비하고,
    상기 수취부는, 상기 저해상도 스트림과 상기 고해상도 스트림을 수취하도록
    구성된, 재생 장치.
  14. 제9항에 있어서, 인접하는 상기 2차원 평면의 상기 화상끼리의 일부는 중복되도록
    구성된, 재생 장치.
  15. 삭제
  16. 삭제
  17. 제9항에 있어서, 상기 저해상도화된 전천구 화상은, 저해상도화된 좌안용 시점의 전천구 화상과 우안용 시점의 전천구 화상을 패킹한 화상이며,
    상기 복수의 화상은, 상기 2차원 평면마다, 상기 3D 모델에 매핑된 상기 좌안용 시점의 전천구 화상 및 상기 우안용 시점의 전천구 화상을 각각 상기 2차원 평면에 투영함으로써 생성된 화상을 패킹한 화상이도록
    구성된, 재생 장치.
  18. 제17항에 있어서, 상기 묘화부는, 상기 수취부에 의해 수취된 상기 화상 및 상기 저해상도화된 전천구 화상을 시점마다 분리하고, 시점마다, 분할된 상기 화상 및 상기 저해상도화된 전천구 화상의 적어도 한쪽에 기초하여, 상기 표시 화상을 생성하도록
    구성된, 재생 장치.
  19. 재생 장치가,
    3D 모델에 매핑된 전천구 화상을 복수의 2차원 평면에 투영함으로써 생성된 복수의 화상 중 적어도 하나의 화상과, 저해상도화된 상기 전천구 화상을 수취하는 수취 스텝과,
    상기 수취 스텝의 처리에 의해 수취된 상기 화상 및 저해상도화된 상기 전천구 화상의 적어도 한쪽에 기초하여 표시 화상을 생성하는 묘화 스텝
    을 포함하고,
    상기 복수의 2차원 평면의 중심을 통과하는 법선은, 입방체의 각 변의 중점과 상기 입방체의 중심을 통과하는 선과, 상기 입방체의 각 면의 중심과 상기 입방체의 중심을 통과하는 선이도록 구성된, 재생 방법.
KR1020187030019A 2016-05-13 2017-04-28 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 KR102343651B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016097360 2016-05-13
JPJP-P-2016-097360 2016-05-13
JP2016142286 2016-07-20
JPJP-P-2016-142286 2016-07-20
PCT/JP2017/016907 WO2017195650A1 (ja) 2016-05-13 2017-04-28 生成装置および生成方法、並びに、再生装置および再生方法

Publications (2)

Publication Number Publication Date
KR20190008193A KR20190008193A (ko) 2019-01-23
KR102343651B1 true KR102343651B1 (ko) 2021-12-28

Family

ID=60267064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187030019A KR102343651B1 (ko) 2016-05-13 2017-04-28 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법

Country Status (6)

Country Link
US (1) US10762597B2 (ko)
EP (1) EP3457352B1 (ko)
JP (1) JP6977720B2 (ko)
KR (1) KR102343651B1 (ko)
CN (1) CN109074628A (ko)
WO (1) WO2017195650A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10898804B2 (en) * 2016-08-19 2021-01-26 Sony Corporation Image processing device and image processing method
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
EP3322149B1 (en) * 2016-11-10 2023-09-13 Tata Consultancy Services Limited Customized map generation with real time messages and locations from concurrent users
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN108537721B (zh) * 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
WO2019009750A1 (en) * 2017-07-05 2019-01-10 Huawei Technologies Co., Ltd APPARATUS AND METHOD FOR PANORAMIC VIDEO CODING
JP6472864B1 (ja) * 2017-11-29 2019-02-20 株式会社近江デジタルファブリケーションズ 画像配信システム、及び配信画像生成方法
JP6996300B2 (ja) * 2018-01-04 2022-01-17 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP7106332B2 (ja) * 2018-04-17 2022-07-26 日立Astemo株式会社 外界認識装置
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US20200045344A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Video processing mechanism
JP2021192470A (ja) 2018-09-07 2021-12-16 ソニーグループ株式会社 コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
GB2578769B (en) * 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
CN109444157A (zh) * 2018-12-25 2019-03-08 苏州凡目视觉科技有限公司 一种划痕检测装置与方法
WO2021177085A1 (ja) * 2020-03-05 2021-09-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法
CN111479128A (zh) * 2020-04-01 2020-07-31 黑龙江省农业科学院农业遥感与信息研究所 一种利用互联网进行农业种植技术推广的系统及方法
WO2021253189A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electric device, scanning method of controlling electric device, and computer readable storage medium
US12086931B2 (en) 2022-03-01 2024-09-10 Tencent America LLC Methods of 3D clothed human reconstruction and animation from monocular image
WO2024147249A1 (ja) * 2023-01-05 2024-07-11 パナソニックＩｐマネジメント株式会社 画像生成装置およびヘッドマウントディスプレイ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034367A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and apparatus to encode image, and method and apparatus to decode image data
JP2012120054A (ja) * 2010-12-02 2012-06-21 Canon Inc 画像符号化装置、画像符号化方法およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234043A (ja) * 1997-02-20 1998-09-02 Toshiba Corp 動画像符号化／復号化装置
JP2000347650A (ja) * 1999-06-07 2000-12-15 Matsushita Joho System Kk 画像表示装置及び方法
JP2001298652A (ja) 2000-04-17 2001-10-26 Sony Corp 画像圧縮方法及び画像圧縮装置、並びにソフトウェア記憶媒体
JP2002312778A (ja) * 2001-04-09 2002-10-25 Be Here Corp モーションパノラマ画像を電子的に配信する方法および装置
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4012749B2 (ja) * 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
JP2004048546A (ja) * 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2004094523A (ja) * 2002-08-30 2004-03-25 Canon Inc 情報処理装置及び方法
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US7334883B2 (en) * 2004-08-25 2008-02-26 Hewlett-Packard Development Company, L.P. Printer, printhead, apparatus and method for air-free ink delivery
ES2675802T3 (es) * 2011-02-18 2018-07-12 Alcatel Lucent Procedimiento y aparato para transmitir y recibir un flujo de video panorámico
US9635252B2 (en) * 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6075889B2 (ja) 2014-06-10 2017-02-08 日本電信電話株式会社 映像配信装置及び映像再生装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060034367A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and apparatus to encode image, and method and apparatus to decode image data
JP2012120054A (ja) * 2010-12-02 2012-06-21 Canon Inc 画像符号化装置、画像符号化方法およびプログラム

Also Published As

Publication number Publication date
EP3457352A1 (en) 2019-03-20
JP6977720B2 (ja) 2021-12-08
US20190108611A1 (en) 2019-04-11
WO2017195650A1 (ja) 2017-11-16
EP3457352B1 (en) 2022-06-01
JPWO2017195650A1 (ja) 2019-03-14
EP3457352A4 (en) 2019-10-30
US10762597B2 (en) 2020-09-01
CN109074628A (zh) 2018-12-21
KR20190008193A (ko) 2019-01-23

Similar Documents

Publication Publication Date Title
KR102343651B1 (ko) 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
US10887571B2 (en) Image processing apparatus and image processing method
JP6944138B2 (ja) 画像処理装置および画像処理方法
US20190304160A1 (en) Image processing apparatus and image processing method
CN109478348B (zh) 图像处理装置和图像处理方法
JP7095697B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
KR102378860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP7028168B2 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant