KR20110036671A - 화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템 - Google Patents

화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템 Download PDF

Info

Publication number
KR20110036671A
KR20110036671A KR20100092868A KR20100092868A KR20110036671A KR 20110036671 A KR20110036671 A KR 20110036671A KR 20100092868 A KR20100092868 A KR 20100092868A KR 20100092868 A KR20100092868 A KR 20100092868A KR 20110036671 A KR20110036671 A KR 20110036671A
Authority
KR
South Korea
Prior art keywords
viewpoint images
encoding
image
signal processing
image signal
Prior art date
Application number
KR20100092868A
Other languages
English (en)
Inventor
히로따까 이시까와
가쯔히사 이또
히로아끼 야스나가
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110036671A publication Critical patent/KR20110036671A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치는, 입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점들의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함한다.

Description

화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템{IMAGE SIGNAL PROCESSING APPARATUS, IMAGE SIGNAL PROCESSING METHOD, IMAGE DISPLAY APPARATUS, IMAGE DISPLAY METHOD, PROGRAM, AND IMAGE DISPLAY SYSTEM}
본 발명은 화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템에 관한 것이며, 예를 들어, 피사체의 입체 화상(stereoscopic image)을 표시시킬 경우에 사용하기에 적합한 화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템에 관한 것이다.
종래, 텔레비전 수상기등에 채용되어 있는 평면 디스플레이에 입체 가능한 화상을 표시하는 기술이 존재한다. 이 기술은 디스플레이를 보는 사람의 좌우의 눈의 시차를 이용할 수 있다. 구체적으로는, 예를 들어, 동일한 평면 디스플레이에 좌안용의 화상과 우안용의 화상을 표시하고, 편광 필터를 통하여 좌안에서는 좌안용의 화상만이, 우안에서는 우안용의 화상만이 보이도록 해서 입체를 실현하고 있다.
한편, 피사체를 중심으로 하는 주위(circumference)에 제공된 복수의 시점에서 촬상되는(또는, 컴퓨터 그래픽스에 의해 피사체를 전체 주위로부터 본 상태를 상정해서 생성됨) 시점이 다른 복수의 화상(이하, 시점 화상이라고 칭한다)을 사용하여, 피사체 전체의 주위에 걸쳐 입체 화상을 표시할 수 있는 많은 전체 주위 입체 화상 표시 장치가 제안되어 있다(일본 특허 공개 제2004-177709호 또는 일본 특허 공개 제2005-114771호 참조).
이들의 전체 주위 입체 화상 표시 장치는 표시부가 원통 형상을 이루고 있어, 임의의 방향으로부터 원통 형상의 측면을 보는 유저에 대하여, 피사체가 입체적으로 시인될 수 있는 영상을 표시하도록 이루어져 있다.
상술한 바와 같이, 전체 주위 입체 화상 표시 장치에 대하여는 전체 주위의 시점 화상들을 입력하게 되므로, 그 데이터량은 방대하게 된다. 따라서, 전체 주위의 시점 화상들을 인코드하여 전체 주위 입체 화상 표시 장치에 입력하고, 전체 주위 입체 화상 표시 장치에서 이를 디코드해서 표시하는 것이 고려될 수 있다.
그러나, 현 상황에 있어서는, 전체 주위의 시점 화상들을 효율적으로 인코드하는 방법이 확립되어 있지 않다.
따라서, 피사체의 전체 주위의 시점 화상들을 효율적으로 인코드하는 방법을 확립 함으로써, 전체 주위 입체 화상 표시 장치에 대하여 피사체의 전체 주위의 시점 화상들을 효율적으로 입력할 수 있게 하는 것이 바람직하다.
본 발명의 제1 실시예는, 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치에 관한 것이며, 상기 화상 신호 처리 장치는 입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점들의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함한다.
본 발명의 제1 실시예의 화상 신호 처리 장치는, 상기 시점들에 대한 상기 피사체의 상대적인 움직임을 나타내는 파라미터들에 기초하여, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상의 상관 관계가 높은 프레임의 패턴을 특정하고, 특정된 상기 패턴을 통지 함으로써, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드하는 상기 인코드 수단을 제어하는 제어 수단을 더 포함할 수 있다.
본 발명의 제1 실시예의 화상 신호 처리 장치는, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상에 기초하여, 상기 시점들에 대한 상기 피사체의 상대적인 움직임을 나타내는 파라미터들을 추정하고, 추정된 상기 파라미터들을 상기 제어 수단에 통지하는 추정 수단을 더 포함한다.
또한, 본 발명의 제1 실시예는 화상 신호 처리 장치의 화상 신호 처리 방법에 관한 것이며, 상기 화상 신호 처리 장치의 화상 신호 처리 방법은, 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하며, 상기 화상 신호 처리 장치에 의한, 입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 스텝과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 스텝을 포함한다.
또한, 본 발명의 제1 실시예는 화상 신호 처리 장치의 제어 프로그램에 관한 것이며, 상기 화상 신호 처리 장치의 제어 프로그램은, 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하며, 입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 스텝과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 스텝을 포함한다.
본 발명의 제1 실시예에서는, 입력된 전체 주위의 시점 화상들을, 각각에 대응하는 시점들의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하며, 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성한다.
본 발명의 제2 실시예는, 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호에 기초하여, 전체 주위로부터 본 상기 피사체의 입체 화상을 표시하는 화상 표시 장치에 관한 것이며, 상기 화상 표시 장치는 상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 수단과, 재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 수단을 포함한다.
또한, 본 발명의 제2 실시예는, 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들에 기초하여, 전체 주위로부터 본 상기 피사체의 입체 화상을 표시하는 화상 표시 장치의 화상 표시 방법에 관한 것이며, 상기 화상 표시 장치의 화상 표시 방법은, 화상 표시 장치에 의한, 상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 스텝과, 재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 스텝을 포함한다.
또한, 본 발명의 제2 실시예는, 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들에 기초하여, 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치의 제어 프로그램에 관한 것이며, 상기 화상 표시 장치의 제어 프로그램은 상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 스텝과, 재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 스텝을 포함하는 처리를 화상 표시 장치의 컴퓨터에 실행시킨다.
본 발명의 제2 실시예에서는, 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하며, 재생된 전체 주위의 시점 화상들을 디스플레이에 표시시킨다.
본 발명의 제3 실시예는, 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치와, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 상기 화상 표시 장치에 공급하는 화상 신호 처리 장치를 포함하는 화상 표시 시스템에 관한 것이며, 상기 화상 신호 처리 장치는 입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하고, 상기 화상 표시 장치는 상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 수단과, 재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 수단을 포함한다.
본 발명의 제3 실시예에서는, 화상 신호 처리 장치에 의해, 입력된 전체 주위의 시점 화상들이, 각각에 대응하는 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열되고, 배열된 각각의 시점 화상을 1매의 프레임으로 하고, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 시점 화상이 부호화 됨으로써 비디오 부호화 신호가 생성된다. 또한, 화상 표시 장치에 의해, 화상 신호 처리 장치로부터 입력된 비디오 부호화 신호들이 디코드되어 전체 주위의 시점 화상이 재생되어, 재생된 전체 주위의 시점 화상이 디스플레이에 표시된다.
본 발명의 제1 실시예에 따르면, 화상 표시 장치에 대하여 피사체의 전체 주위의 시점 화상들을 효율적으로 입력할 수 있다.
본 발명의 제2 실시예에 따르면, 피사체의 전체 주위의 시점 화상들이 효율적으로 부호화되어 얻어지는 비디오 부호화 신호들에 기초하여, 전체 주위로부터 본 피사체의 입체 화상으로서 표시할 수 있다.
본 발명의 제3 실시예에 따르면, 화상 표시 장치에 대하여 피사체의 전체 주위의 시점 화상들을 효율적으로 입력하여, 전체 주위로부터 본 피사체의 입체 화상으로서 표시할 수 있다.
도 1은 본 발명의 실시예들을 적용한 3차원 화상 표시 시스템의 구성예를 도시하는 블록도.
도 2는 전체 주위의 시점 화상들을 18매로 구성한 경우를 설명하는 도면.
도 3은 전체 주위의 시점 화상들이 시계열로 배열되는 순서를 도시하는 도면.
도 4는 피사체 자신의 회전 속도에 따른 제1 상관 패턴을 도시하는 도면.
도 5는 피사체 자신의 회전 속도에 따른 제2 상관 패턴을 도시하는 도면.
도 6은 피사체 자신의 회전 속도에 따른 제3 상관 패턴을 도시하는 도면.
도 7은 상관이 높은 시점 화상들의 탐색 방법을 설명하기 위한 도면.
도 8은 상관이 높은 시점 화상들의 탐색 방법을 설명하기 위한 도면.
도 9는 상관이 높은 시점 화상들의 탐색 방법을 설명하기 위한 도면.
도 10은 도 1의 화상 신호 처리 장치의 구성예를 도시하는 블록도.
도 11은 화상 신호 처리 장치에 의한 비디오 부호화 신호들을 설명하는 흐름도.
도 12는 도 1의 전체 주위 입체 화상 표시 장치의 구성예를 도시하는 블록도.
도 13은 컴퓨터의 구성예를 나타내는 프로그램.
이하, 본 발명을 실시하기 위한 최선의 형태(이하, 실시예라고 칭한다)에 대해서 도면을 참조하여 설명한다.
[3차원 화상 표시 시스템의 구성예]
도 1은 본 발명의 실시예들을 적용한 3차원 화상 표시 시스템의 구성예를 나타낸다. 3차원 화상 표시 시스템(10)은 화상 신호 처리 장치(20), 전체 주위 입체 화상 표시 장치(30) 및 평면 디스플레이(40)를 포함한다.
화상 신호 처리 장치(20)는, 외부로부터 입력되는 전체 주위의 시점 화상들의 시점의 차이를 촬상 순서의 차이로 간주하고, 촬상 순서를 따라서 시점 화상들을 배열하고, 각각의 시점 화상을 각각 1매의 프레임으로 간주해서 화상들을 인코드하고, 그 결과 얻어지는 비디오 부호화 신호를 전체 주위 입체 화상 표시 장치(30)에 출력한다.
전체 주위 입체 화상 표시 장치(30)는 복수의 슬릿(32)이 제공된 원통부(31)에 표시부(54)(도 12)를 포함한다. 전체 주위 입체 화상 표시 장치(30)는, 화상 신호 처리 장치(20)로부터 입력되는 비디오 부호화 신호를 디코드하고, 그 결과 얻어지는 전체 주위의 시점 화상을 미리 정해진 순서로 표시부(54)에 표시한다. 이와 동시에, 원통부(31)는 회전 구동된다. 임의의 방향으로부터 원통부(31)의 측면을 보는 유저는, 슬릿(32)을 통해서 표시부(54)의 누설된 영상들을 보고, 이에 의해 유저는 피사체의 전체 주위에 걸친 입체상을 시인할 수 있게 된다.
또한, 전체 주위 입체 화상 표시 장치(30)는 비디오 부호화 신호의 디코드 결과로 얻어지는 전체 주위 시점 화상들을 평면 디스플레이(40)에 공급한다. 전체 주위 입체 화상 표시 장치(30)로부터 평면 디스플레이(40)로 비디오 부호화 신호를 공급하여, 평면 디스플레이(40)에서 디코드하도록 해도 좋다.
전체 주위 입체 화상 표시 장치(30)에는, 일본 특허 출원 제2008-317522호에서 본 출원인이 제안한 전체 주위 입체 화상 표시 장치가 적용될 수 있다.
평면 디스플레이(40)는, 전체 주위 입체 화상 표시 장치(30)를 통해서 화상 신호 처리 장치(20)로부터 입력되는 전체 주위의 시점 화상들을 표시한다.
[전체 주위의 시점 화상들의 설명]
도 2는 피사체를 중심으로 하는 원주상을 18 등분으로 나눠 18개의 시점을 설치하고, 각각의 시점에서 피사체를 동시에 촬상해서 시점 화상들을 얻을 경우를 나타낸다. 실제로 피사체를 촬상하는 것이 아니고, CG(컴퓨터 그래픽스) 등을 사용하여 각각의 시점에서 피사체를 본 상태를 상정해서 시점 화상을 생성하도록 해도 좋다.
도 2의 경우, 각각의 촬상 타이밍마다 18개의 시점 화상들이 얻어진다. 여기서, 미리 정해진 위치(예를 들어, 피사체를 정면)를 기준으로 해서, 거기에서 본 시점 화상을 A00이라 하고, 이후, 순차적으로 시점을 20°의 시점 간격으로 얻어지는 시점 화상들을 A01, A02, ..., A17이라 한다.
피사체의 전체 주위에 제공하는 시점의 수, 바꾸어 말하면, 시점 화상의 매수는 18개에 한정되는 것이 아니고, 보다 적게 하거나, 보다 많게 하여도 좋다. 단, 이 수가 많으면 많을수록, 피사체의 입체 화상들이 원활하게 표시될 수 있다.
[전체 주위의 시점 화상들을 시계열로 배열하는 순서]
도 3은 각각의 촬상 타이밍으로 동시에 촬상된 18매로 이루어지는 전체 주위의 시점 화상 A00 내지 A17를 시계열로 배열하는 순서를 나타낸다. 이하, 촬상 타이밍 tn으로 동시에 촬상된 18매의 시점 화상들을 A00tn 내지 A17tn이라 칭하고, 촬상 타이밍 tn+1 이후에 동시에 촬상된 18매의 시점 화상들을 A00tn+1 내지 A17tn+1 등이라 칭한다.
즉, 촬상 시각 tn에 동시에 촬상된 18매의 시점 화상들 A00tn 내지 A17tn의 각각을 1매의 프레임으로 하고, 그 시점의 차이를 촬영 순서가 다른 것으로 간주하여 시점 화상 A00tn, A01tn,..., A17tn의 순서로 배열한다. 계속해서, 시점 화상들 A00tn+1, A01tn+1,..., A17tn+1을 이러한 순서로 배열한다. 이후의 화상들도 마찬가지로 배열한다.
이와 같이, 동시에 촬상된 전체 주위의 시점 화상의 각각을, 1매의 프레임으로 해서 그 시점의 차이를 촬상 순서가 다른 것으로 간주하여 배열하면, 촬상된 순서로 프레임이 배치되어 있는 일반적인 동화상과 마찬가지로, 앞 뒤 시점 화상의 내용이 유사하게 된다. 또한, 시점 화상 A17tn과 시점 화상 A00tn+1과 같이 촬상 타이밍이 상이하여도, 그 간격이 짧으면, 화상의 내용이 유사하게 된다.
따라서, 도 3에 나타낸 순서로 배열된 각각의 시점 화상은, 일반적인 동화상과 같이 프레임내 예측 및 프레임간 예측을 이용한 기존의 부호화 방식(예를 들어, MPEG2 방식, H264 등)에 의해, 일반적인 비디오 부호화 신호로 변환될 수 있다.
단, 시점의 수를 늘려서 전체 주위의 시점 화상의 매수가 증가했을 경우, 얻어지는 비디오 부호화 신호의 프레임 레이트가 증가해버려, 인코드 처리 및 디코드 처리의 부하가 커져버린다.
그러한 경우, 인코드 처리시에 시점 화상을 씨닝(thinning)하여 인코드하고, 디코드후에 씨닝된 시점 화상을 보간에 의해 생성하도록 해도 좋다.
대안으로서, 인코드 처리 및 디코드 처리를 각각 복수의 채널로 나누어서 병행하여 처리할 수 있다면, 전체 주위의 시점 화상을 복수 채널로 분할해서 처리하여도 좋다. 이 경우, 시점 화상들의 압축률은 저하하지만, 처리의 고속화를 기대할 수 있다.
상술한 바와 같이, 도 3에 나타낸 바와 같이 전체 주위의 시점 화상을 배열하면, 기존의 부호화 방식에 의해, 일반적인 비디오 부호화 신호로 변환될 수 있다.
단, 피사체가 상대적으로 회전 운동을 하고 있을 경우, 촬상 타이밍이 다른 시점 화상끼리의 상관 관계를 이용하여, 보다 압축률이 높아지도록 인코드할 수 있다.
[피사체가 상대적으로 회전했을 경우의 상관 패턴]
도 4는, 촬상 타이밍 tn과 tn+1의 사이에서 1시점 간격(이 경우, 20°)으로 피사체가 상대적으로 회전하는 속도로 피사체가 우측 방향으로 회전하는 경우에 대응하는 제1 상관 패턴을 나타내고 있다.
이 경우, 동일 도면에 화살표로 나타낸 바와 같이, 시점 화상 A00tn과 시점 화상A17tn+1, 시점 화상 A01tn과 시점 화상 A00tn+1, 시점 화상 A02tn과 시점 화상 A01tn+1,... 의 조합의 상관이 높으므로, 상관이 높은 프레임을 이용한 프레임간 예측을 이용해서 부호화를 행한다.
도 5는 촬상 타이밍 tn과 tn+1의 사이에서 1시점 간격(이 경우, 20°)으로 피사체가 상대적으로 회전하는 속도로 피사체가 좌측 방향으로 피사체가 회전하는 경우에 대응하는 제2 상관 패턴을 나타내고 있다.
이 경우, 동일 도면에 화살표로 나타낸 바와 같이, 시점 화상 A00tn과 시점 화상 A01tn+1, 시점 화상 A01tn과 시점 화상 A02tn+1, 시점 화상 A03tn과 시점 화상 A04tn+1,...의 조합의 상관이 높으므로, 상관이 높은 프레임을 이용한 프레임간 예측을 이용해서 부호화를 행한다.
도 6은, 촬상 타이밍 tn과 tn+1의 사이에서 2시점 간격(이 경우, 40°)으로 피사체가 상대적으로 회전하는 속도로 우측 방향으로 피사체가 회전하는 경우에 대응하는 제3 상관 패턴을 나타내고 있다.
이 경우, 동일 도면에 화살표로 나타낸 바와 같이, 시점 화상 A00tn과 시점 화상 A16tn+1, 시점 화상 A01tn과 시점 화상 A17tn+1, 시점 화상 A02tn과 시점 화상 A00tn+1,... 의 조합의 상관이 높으므로, 상관이 높은 프레임을 이용한 프레임간 예측을 이용해서 부호화를 행한다.
또한, 피사체의 상대적인 회전 속도와 그 회전 방향을 나타내는 파라미터를 취득할 수 있을 경우(예를 들어, 시점 화상들을 CG에 의해 생성하고 있을 경우 등)에는, 취득한 파라미터들에 기초하여, 예를 들어, 도 4 내지 도 6에 나타낸 바와 같이 상관 패턴을 특정해서 부호화를 행한다.
[상관이 높은 시점 화상의 탐색 방법]
다음으로, 피사체 자신의 회전 속도와 그 회전 방향을 나타내는 파라미터들을 취득할 수 없을 경우에 상관이 높은 시점 화상의 탐색 방법에 대해서 설명한다.
피사체 자신의 회전 속도와 그 회전 방향을 나타내는 파라미터들을 취득할 수 없을 경우에는, 촬상 타이밍이 상이한 다른 시점 화상과 비교해서 상관이 높은 특정 시점 화상들을 탐색한다. 또한, 특정 시점 화상과 탐색된 시점 화상의 조합에 기초하여, 피사체 자신의 회전 속도와 그 회전 방향을 나타내는 파라미터들을 추정하고, 추정된 파라미터들에 기초하여, 예를 들어, 도 4 내지 도 6에 나타낸 바와 같이, 상관 패턴을 특정해서 부호화를 행한다.
구체적으로는, 도 7에 나타낸 바와 같이, 촬상 타이밍 tn의 시점 화상 Aαtn에 주목하여, 도 8에 나타낸 바와 같이, 촬상 타이밍 tn+1의 시점 화상 Aαtn+1과 시점이 가까운 몇매의 시점 화상과 시점 화상 Aαtn을 비교한다. 이후, 차분이 최소가 되는 화상들을 상관이 높은 화상들로서 특정한다. 도 8에 나타낸 바와 같이, 시점 화상 Aαtn+1과 시점 화상 Aα-2tn+1이 가장 상관이 높다고 특정되었을 경우, 촬상 타이밍 tn과 tn+1의 사이에서 2시점 간격으로 피사체가 상대적으로 회전하는 속도로 피사체가 우측 방향으로 회전한다고 추정된다. 이 경우, 도 9에 나타낸 바와 같이, 상관 패턴이 특정되어서 부호화가 행하여진다.
[화상 신호 처리 장치(20)의 구성예와 동작]
다음으로, 3차원 화상 표시 시스템(10)을 구성하는 화상 신호 처리 장치(20)의 상세한 구성예에 대해서 설명한다.
도 10은 화상 신호 처리 장치(20)의 상세한 구성예를 나타내고 있다. 화상 신호 처리 장치(20)는 시점 화상 버퍼(21), 탐색부(22), 인코드 제어부(23) 및 인코더(24)를 포함한다.
화상 신호 처리 장치(20)에는, 외부로부터 전체 주위의 시점 화상들이 입력된다. 또한, 화상 신호 처리 장치(20)에는, 촬상시의 피사체 자신의 회전 속도와 그 회전 방향을 나타내는 파라미터들이 공급된다. 단, 파라미터들이 공급되지 않을 수도 있다.
시점 화상 버퍼(21)는 외부로부터 순차적으로 입력되는 전체 주위의 시점 화상들을 버퍼링하면서, 도 3에 나타낸 바와 같이, 각각의 촬상 타이밍으로 동시에 촬상된 전체 주위의 시점 화상을, 각각의 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열한다.
탐색부(22)는 촬상시의 피사체 자신의 회전 속도와 그 회전 방향을 나타내는 파라미터들이 공급되지 않을 경우, 도 7 및 도 8을 사용해서 상술한 방법에 의해, 피사체 자신의 회전 속도 및 회전 방향의 파라미터들을 동적으로 추정해서 인코드 제어부(23)에 출력한다.
인코드 제어부(23)는 외부로부터 입력 또는 탐색부(22)로부터 입력되는 피사체 자신의 회전 속도 및 회전 방향의 파라미터들에 기초하여, 인코더(24)에 의한 인코드 처리를 동적으로 제어한다. 구체적으로, 입력된 파라미터들에 따라, 상관 관계가 높은 시점 화상들의 조합(상관 패턴)을 인코더(24)에 통지하고, 프레임간 예측에 기초하는 시점 화상들의 부호화를 실행시킨다.
인코더(24)는, 인코드 제어부(23)로부터의 제어에 따라, 시점 화상 버퍼(21)에 의해 버퍼링되어 재배열되어 있는 시점 화상들을 시계열로 배치되어 있는 프레임으로 간주해서 인코드하고, 그 결과 얻어지는 비디오 부호화 신호를 후단(downstream)에 출력한다.
탐색부(22) 및 인코드 제어부(23)를 생략하고, 인코더(24)에서 기존의 부호화 방식을 사용하여 시점 화상들을 인코드하도록 해도 좋다.
다음으로, 도 11은 화상 신호 처리 장치(20)에 의한 비디오 부호화 신호 생성 처리를 설명하는 흐름도이다.
스텝 S1에서, 화상 신호 처리 장치(20)는 외부로부터 전체 주위의 시점 화상들을 취득한다. 취득된 전체 주위의 시점 화상들은 시점 화상 버퍼(21)에 입력된다. 스텝 S2에서, 시점 화상 버퍼(21)는, 외부로부터 입력된 전체 주위의 시점 화상을 버퍼링하면서, 도 3에 나타낸 바와 같이, 각각의 촬상 타이밍으로 동시에 촬상된 전체 주위의 시점 화상을 시계열로 배열한다.
스텝 S3에서, 탐색부(22)는 시점 화상 버퍼(21)에 버퍼링되어 있는 화상을 참조하고, 도 7 및 도 8을 사용해서 상술한 방법에 따라, 피사체 자신의 회전 속도 및 회전 방향의 파라미터들을 추정해서 인코드 제어부(23)에 출력한다.
스텝 S4에서, 인코더(24)는, 인코드 제어부(23)로부터의 제어에 따라, 시점 화상 버퍼(21)에 의해 버퍼링되어 재배열되어 있는 시점 화상을 시계열로 배치되어 있는 프레임으로 간주해서 인코드하고, 그 결과 얻어지는 비디오 부호화 신호를 후단에 출력한다.
이상 설명한 바와 같이, 비디오 부호화 신호 생성 처리에 따르면, 피사체의 전체 주위 화상을 시계열로 배치된 프레임으로 간주해서 인코드하고, 비디오 부호화 신호로서 효율적으로 후단에 공급할 수 있다.
[전체 주위 입체 화상 표시 장치(30)의 구성예와 동작]
다음으로, 도 12는 화상 신호 처리 장치(20)로부터 비디오 부호화 신호가 입력되는 전체 주위 입체 화상 표시 장치(30)의 구성예를 나타내고 있다.
전체 주위 입체 화상 표시 장치(30)는, 디코더(51), 시점 화상 버퍼(52), 표시 제어부(53) 및 표시부(54)를 포함한다.
디코더(51)는, 전단의 화상 신호 처리 장치(20)로부터 입력되는 비디오 부호화 신호를 디코드하고, 그 결과 얻어지는 시점 화상들을 시점 화상 버퍼(52)에 출력한다. 시점 화상 버퍼(52)는 디코더(51)로부터 입력되는 시점 화상들을 버퍼링한다.
표시 제어부(53)는 시점 화상 버퍼(52)에 버퍼링되어 있는 각각의 시점 화상들을 미리 정해진 순서를 따라 판독해서 표시부(54)에 표시시킨다.
전체 주위 입체 화상 표시 장치(30)에서는, 전단의 화상 신호 처리 장치(20)로부터 비디오 부호화 신호가 입력되어 디코더(51)에 의해 디코드되어, 그 결과 얻어지는 시점 화상들이 시점 화상 버퍼(52)에서 버퍼링된다. 이후, 버퍼링된 시점 화상들이 미리 정해진 순서로 판독되어 표시부(54)에 표시된다.
상술한 화상 신호 처리 장치(20) 또는 전체 주위 입체 화상 표시 장치(30)의 일련의 처리는, 하드웨어에 의해 실행될 수도 있고, 소프트웨어에 의해 실행될 수도 있다. 일련의 처리를 소프트웨어에 의해 실행할 경우에는, 그 소프트웨어를 구성하는 프로그램은, 프로그램 기록 매체로부터, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써 각종 기능을 실행할 수 있는 범용의 퍼스널 컴퓨터에 인스톨된다.
도 13는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(100)에 있어서, CPU(Central Processing Unit; 101), ROM(Read Only Memory; 102), RAM(Random Access Memory; 103)는 버스(104)를 통하여 서로 접속되어 있다.
버스(104)에는, 입출력 인터페이스(105)가 더 접속되어 있다. 입출력 인터페이스(105)에는, 키보드, 마우스, 마이크로폰등을 포함하는 입력부(106)와, 디스플레이, 스피커등을 포함하는 출력부(107)와, 하드 디스크나 불휘발성의 메모리등을 포함하는 기억부(108)와, 네트워크 인터페이스등을 포함하는 통신부(109)와, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리등을 포함하는 리무버블 미디어(111)을 구동하는 드라이브(110)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들어, 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 통하여, RAM(103)에 로드해서 실행함으로써, 상술한 일련의 처리가 행하여진다.
컴퓨터에 의해 실행되는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이여도 좋고, 병렬 또는 호출이 행하여졌을 때 등의 필요한 타이밍으로 처리가 행하여지는 프로그램이여도 좋다.
또한, 프로그램은 1대의 컴퓨터에 의해 처리되는 것이여도 좋고, 복수의 컴퓨터에 의해 분산 처리되는 것이여도 좋다. 또한, 프로그램은 먼 곳의 컴퓨터에 전송되어서 실행되는 것이여도 좋다.
또한, 본 명세서에 있어서, 시스템은 복수의 장치를 포함하는 장치 전체를 가리킨다.
본 발명의 실시예는 상술된 실시예에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위내에서 다양한 변경이 가능하다.
본 출원은 2009년 10월 2일에 일본 특허청에서 출원된 일본 특허 출원 제2009-230874호에 개시된 관련 요지를 포함하며, 이 전체 내용이 참조로 본 명세서에 포함되어 있다.
10: 3차원 화상 표시 시스템
20: 화상 신호 처리 장치
21: 시점 화상 버퍼
22: 탐색부
23: 인코드 제어부

Claims (13)

  1. 전체 주위(circumference)로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치로서,
    입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점들의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는, 화상 신호 처리 장치.
  2. 제1항에 있어서,
    상기 시점들에 대한 상기 피사체의 상대적인 움직임을 나타내는 파라미터들에 기초하여, 시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상의 상관 관계가 높은 프레임의 패턴을 특정하고, 특정된 상기 패턴을 통지 함으로써, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드하는 상기 인코드 수단을 제어하는 제어 수단을 더 포함하는, 화상 신호 처리 장치.
  3. 제2항에 있어서,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상에 기초하여, 상기 시점들에 대한 상기 피사체의 상대적인 움직임을 나타내는 파라미터들을 추정하고, 추정된 상기 파라미터들을 상기 제어 수단에 통지하는 추정 수단을 더 포함하는, 화상 신호 처리 장치.
  4. 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치의 화상 신호 처리 방법으로서,
    상기 화상 신호 처리 장치에 의한,
    입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 스텝과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 스텝을 포함하는, 화상 신호 처리 방법.
  5. 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치의 제어 프로그램으로서,
    입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 스텝과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 스텝
    을 포함하는 처리를 화상 신호 처리 장치의 컴퓨터에 실행시키는, 프로그램.
  6. 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호에 기초하여, 전체 주위로부터 본 상기 피사체의 입체 화상을 표시하는 화상 표시 장치로서,
    상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 수단과,
    재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 수단을 포함하는, 화상 표시 장치.
  7. 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들에 기초하여, 전체 주위로부터 본 상기 피사체의 입체 화상을 표시하는 화상 표시 장치의 화상 표시 방법으로서,
    화상 표시 장치에 의한,
    상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 스텝과,
    재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 스텝
    을 포함하는, 화상 표시 방법.
  8. 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들에 기초하여, 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치의 제어 프로그램으로서,
    상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 스텝과,
    재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 스텝
    을 포함하는 처리를 화상 표시 장치의 컴퓨터에 실행시키는, 프로그램.
  9. 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치와,
    상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 상기 화상 표시 장치에 공급하는 화상 신호 처리 장치를 포함하는 화상 표시 시스템으로서,
    상기 화상 신호 처리 장치는
    입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하는 배치 수단과,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하는 인코드 수단을 포함하고,
    상기 화상 표시 장치는
    상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하는 디코드 수단과,
    재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키는 표시 제어 수단을 포함하는, 화상 표시 시스템.
  10. 화상 표시 장치에 대하여, 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치로서,
    입력된 상기 전체 주위의 시점 화상들을 배열하는 배치 수단과,
    각각의 상기 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드하는 인코드 수단
    을 포함하는, 화상 신호 처리 장치.
  11. 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치에 대하여, 상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 공급하는 화상 신호 처리 장치로서,
    입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점들의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하도록 구성되는 배치부와,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하도록 구성되는 인코드부를 포함하는, 화상 신호 처리 장치.
  12. 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하도록 구성되는 배치부와,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하도록 구성되는 인코드부를 포함하는 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호에 기초하여, 전체 주위로부터 본 상기 피사체의 입체 화상을 표시하는 화상 표시 장치로서,
    상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하도록 구성되는 디코드부와,
    재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키도록 구성되는 표시 제어부를 포함하는, 화상 표시 장치.
  13. 전체 주위로부터 본 피사체의 입체 화상을 표시하는 화상 표시 장치와,
    상기 피사체를 중심으로 하는 원주위로 복수 제공된 시점에 각각 대응하는 복수의 시점 화상을 포함하는 전체 주위의 시점 화상들을 상기 화상 표시 장치에 공급하는 화상 신호 처리 장치를 포함하는 화상 표시 시스템으로서,
    상기 화상 신호 처리 장치는
    입력된 상기 전체 주위의 시점 화상들을, 각각에 대응하는 시점의 차이를 촬상 순서가 다른 것으로 간주하여 시계열로 배열하도록 구성되는 배치부와,
    시점의 차이를 촬상 순서의 차이로 간주하여 시계열로 배열된 각각의 시점 화상을 1매의 프레임으로 하여, 적어도 프레임간 예측을 포함하는 부호화 방식을 사용하여 상기 시점 화상들을 인코드함으로써 비디오 부호화 신호들을 생성하도록 구성되는 인코드부를 포함하고,
    상기 화상 표시 장치는
    상기 화상 신호 처리 장치로부터 입력된 상기 비디오 부호화 신호들을 디코드하여 상기 전체 주위의 시점 화상들을 재생하도록 구성되는 디코드부와,
    재생된 상기 전체 주위의 시점 화상들을 디스플레이에 표시시키도록 구성되는 표시 제어부를 포함하는, 화상 표시 시스템.
KR20100092868A 2009-10-02 2010-09-24 화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템 KR20110036671A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2009-230874 2009-10-02
JP2009230874A JP2011082622A (ja) 2009-10-02 2009-10-02 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム

Publications (1)

Publication Number Publication Date
KR20110036671A true KR20110036671A (ko) 2011-04-08

Family

ID=43411252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100092868A KR20110036671A (ko) 2009-10-02 2010-09-24 화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템

Country Status (6)

Country Link
US (1) US20110080469A1 (ko)
EP (1) EP2306742A3 (ko)
JP (1) JP2011082622A (ko)
KR (1) KR20110036671A (ko)
CN (1) CN102143368A (ko)
SG (1) SG169944A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082675A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム
FR2974966A1 (fr) * 2011-05-05 2012-11-09 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
JP5873255B2 (ja) * 2011-05-20 2016-03-01 キヤノン株式会社 画像処理装置およびその方法、並びに、画像再生装置
JP5907016B2 (ja) * 2012-09-12 2016-04-20 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像通信装置
JP2014086968A (ja) * 2012-10-25 2014-05-12 Ricoh Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015019326A (ja) * 2013-07-12 2015-01-29 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
JPWO2018056181A1 (ja) * 2016-09-26 2019-07-04 ソニー株式会社 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置
CN107147895A (zh) * 2017-04-18 2017-09-08 中山大学 一种用于多视图时序呈现的视频处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4431280A (en) * 1981-11-24 1984-02-14 Carvelo Lenard B Planar rotational autostereoscopic display
US5148310A (en) * 1990-08-30 1992-09-15 Batchko Robert G Rotating flat screen fully addressable volume display system
US6183088B1 (en) * 1998-05-27 2001-02-06 Actuality Systems, Inc. Three-dimensional display system
US20020085219A1 (en) * 2000-08-11 2002-07-04 Victor Ramamoorthy Method of and system for generating and viewing multi-dimensional images
JP3906146B2 (ja) 2002-11-27 2007-04-18 株式会社東芝 立体画像表示装置及び立体画像表示方法
US8118674B2 (en) * 2003-03-27 2012-02-21 Wms Gaming Inc. Gaming machine having a 3D display
JP4470432B2 (ja) 2003-10-02 2010-06-02 ソニー株式会社 表示装置
US7364300B2 (en) * 2004-01-12 2008-04-29 Actuality Systems, Inc. Theta-parallax-only (TPO) displays
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
JP4033859B2 (ja) * 2004-12-28 2008-01-16 独立行政法人科学技術振興機構 立体画像表示方法
KR101235273B1 (ko) * 2005-07-07 2013-02-20 삼성전자주식회사 다수의 투명한 플렉시블 디스플레이 패널을 이용한 체적형3차원 디스플레이 시스템
JP2011082675A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム

Also Published As

Publication number Publication date
SG169944A1 (en) 2011-04-29
EP2306742A2 (en) 2011-04-06
EP2306742A3 (en) 2011-06-22
US20110080469A1 (en) 2011-04-07
JP2011082622A (ja) 2011-04-21
CN102143368A (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
KR20110036671A (ko) 화상 신호 처리 장치, 화상 신호 처리 방법, 화상 표시 장치, 화상 표시 방법, 프로그램 및 화상 표시 시스템
CN109803175B (zh) 视频处理方法及装置、设备、存储介质
TWI751261B (zh) ３６０度環景視頻的解區塊濾波技術
EP3646609B1 (en) Viewport selection based on foreground audio objects
US10582127B2 (en) Image processing device, display device, reproduction control method, and image processing system
CN102364945B (zh) 多画面图像解码显示的方法及其视频监控终端
US20210274155A1 (en) Stereoscopic image generating apparatus, stereoscopic image reconstructing apparatus and stereoscopic image playing system including same
US20150312547A1 (en) Apparatus and method for generating and rebuilding a video stream
KR20180037186A (ko) 비디오 코딩을 위한 프레임 재정렬 방법 및 시스템
US8687950B2 (en) Electronic apparatus and display control method
JP2012522285A (ja) データ及び三次元レンダリングを符号化するためのシステム及びフォーマット
WO2018089146A1 (en) Conversion buffer to decouple normative and implementation data path interleaving of video coefficients
KR20120118432A (ko) 3ｄ 비디오 신호 코딩 및 디코딩 방법
US8619123B2 (en) Video processing apparatus and method for scaling three-dimensional video
US20130120530A1 (en) Image processing apparatus and method and program
US20140140403A1 (en) Methods and Systems for Encoding and Decoding Wide Color-Gamut Video
EP3070598B1 (en) Image processing system and method
CN111683216A (zh) 一种交织模式下隔行视频处理方法、系统、设备及介质
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
CN109479147B (zh) 用于时间视点间预测的方法及技术设备
KR101652095B1 (ko) 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법
JP2015159519A (ja) 符号化装置、符号化方法および符号化プログラム
CN102376326A (zh) 记录装置和方法、再现装置和方法以及记录/再现装置
US20110199456A1 (en) Apparatus for image reproduction and method therefor
WO2012165160A1 (ja) 再生装置、再生方法、およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid