KR20080030676A - 화상 처리장치 - Google Patents

화상 처리장치 Download PDF

Info

Publication number
KR20080030676A
KR20080030676A KR1020087004173A KR20087004173A KR20080030676A KR 20080030676 A KR20080030676 A KR 20080030676A KR 1020087004173 A KR1020087004173 A KR 1020087004173A KR 20087004173 A KR20087004173 A KR 20087004173A KR 20080030676 A KR20080030676 A KR 20080030676A
Authority
KR
South Korea
Prior art keywords
image
stereoscopic image
stereoscopic
information
arrangement position
Prior art date
Application number
KR1020087004173A
Other languages
English (en)
Other versions
KR100935149B1 (ko
Inventor
야스타카 와카바야시
타다시 우치우미
히데아키 요시다
켄 마시타니
히데히코 세키자와
Original Assignee
샤프 가부시키가이샤
올림푸스 이미징 가부시키가이샤
소니 가부시끼 가이샤
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤프 가부시키가이샤, 올림푸스 이미징 가부시키가이샤, 소니 가부시끼 가이샤, 산요덴키가부시키가이샤 filed Critical 샤프 가부시키가이샤
Publication of KR20080030676A publication Critical patent/KR20080030676A/ko
Application granted granted Critical
Publication of KR100935149B1 publication Critical patent/KR100935149B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Abstract

3D 정보 작성수단(102)은, 화상 식별정보 및 화상 식별정보의 배치위치에 관한 정보를 포함하는 3D 정보가 제어수단(101)으로부터 입력된다. 그리고, 입력된 3D 정보에 따라, 식별 마크를 작성하고, 배치위치 정보와 함께 화상 통합수단(103)으로 출력한다. 화상 통합수단(103)은, 입력된 우안 화상 및 좌안 화상과, 식별 마크를 배치 위치 정보를 기본으로 통합하고, 화상 데이터를 작성하여 출력한다. 그에 의해 입체 화상 데이터 내에 입체 화상인 것을 나타내는 식별 정보를 가짐과 동시에, 입체 표시한 경우에도 관찰이 방해받지 않게 된다.
화상 처리 장치

Description

화상 처리장치{Image Processing Device}
본 발명은, 3차원으로 표시하기 위한 화상 데이터를 작성할 때, 화상 데이터에 속성 정보를 부가하는 화상 처리장치에 관한 것이다.
종래, 3차원 화상을 표시하는 여러 가지 방법이 제안되어 왔다. 그 중에서도 일반적으로 이용되고 있는 것은 양쪽 눈 시차를 이용하는 소위 "2 안식"이라고 불리우는 것이다. 양쪽 눈 시차를 갖는 좌안용 화상과 우안용 화상을 준비하고, 좌안용 화상을 좌안으로, 우안용 화상을 우안으로 봄으로써 피사체를 직접 보고 있는 듯한 입체감을 얻을 수 있다.
이와 같은 입체시(stereoscopic viewing)에서 입체화상의 작성 방법으로서, 평행법 및 교차법의 2 방식이 알려져 있다. 입체화상을 작성하기 위한 좌우안의 화상은, 좌우의 시점(視點)에 대응하는 위치에 카메라를 놓고 촬영하거나, 혹은 소프트웨어 상에 의사적인(virtual) 카메라를 시점 위치에 두고 화상을 작성한다. 이때, 촬영 또는 촬영된 좌우안의 화상을 이용함으로써, 평행법에서는 좌안용 화상을 향해 좌로, 우안용 화상을 향해 우로 배치하고, 교차법에서는 좌안용을 향해 우로, 우안용을 향해 좌로 배치하여 작성한다.
이와 같은 방식으로 작성된 맨눈 입체시용의 사진에서는, 작성 방법에 의해 좌우 화상의 배치가 다르기 때문에, 적절하게 입체시할 수 있도록 좌안용 화상과 우안용 화상을 구별할 수 있도록 한 스테레오 카메라가 제안되어 있다. 예를 들면, 특허 문헌1(일본 특개평 6-324413호 공보)기재의 "입체 카메라"에서는, 좌안용 화상과 우안용 화상을 기록할 때, 하나의 렌즈와 2개의 거울을 사용하여 촬영하는 방법과, 좌우 2개의 렌즈만을 사용하여 촬영하는 방법이 있다. 2개의 렌즈로 촬영하는 경우, 좌반분(左半分)에 새겨진 영상을 인화지에 프린트하면, 인화지의 좌반분에 우측에서 본 화상이 형성되고, 역으로 우반분에 새겨진 영상을 인화지에 프린트하면, 인화지의 우반분에 좌측으로부터 본 화상이 형성되게 된다. 따라서, 인화지를 반으로 절단하여 좌화상과 우화상을 역전시킬 필요가 있지만, 좌화상과 우화상은 거의 같고 상위점을 찾아내기 어렵기 때문에, 구별이 가도록 사진에 표적을 새기는 것이다. 마찬가지로, 특허 문헌2(일본 특개평 9-160143호 공보)에 기재된 "스테레오 카메라"에 있어서도 좌우 화상이 구별되는 마크를 새김과 동시에, 새겨진 마크를 이용하여 맨눈 입체시를 하기 쉽다.
또한 최근에는 입체시 가능한 표시장치도 제안되고 있고, 2안식의 대표적인 방식으로서 시분할(時分割) 방식이나 파라락스(parallax) 배리어 방식, 편광 필터 방식 등 몇몇 방식이 있다. 이 중에서, 예로서 시분할 방식과 파라락스 배리어 방식에 관하여 설명한다.
도 17은, 시분할 방식을 설명하기 위한 개념도이다. 이 시분할 방식은, 도 17에 나타낸 바와 같이, 좌안 화상과 우안 화상이 수직 방향으로 매 교대 화소를 교대로 배치하여 좌안 화상의 표시와 우안 화상의 표시가 교대로 표시된다. 좌안 화상과 우안 화상은 통상의 2차원으로 표시할 때에 비해 수직 해상도가 1/2로 된다. 관찰자는 디스플레이의 전환 주기에 동기하여 개폐하는 셔터식의 안경을 착용한다. 여기서 사용하는 셔터는, 좌안 화상이 표시되어 있을 때는 좌안측이 열리고 우안측이 닫히고, 우안 화상이 표시되어 있을 때는 좌안측이 닫히고 우안측이 열린다. 이렇게 함으로써, 좌안 화상은 좌안만으로, 우안 화상은 우안만으로 관찰되고, 입체시를 행할 수 있다.
도 18은, 파라락스 배리어 방식을 설명하기 위한 개념도이다. 도 18(a)는, 시차가 생기는 원리를 나타낸 도면이다. 한편, 도 18(b)은, 파라락스 배리어 방식으로 표시되는 화면을 나타낸 도면이다. 도 18(a)에서는, 도 18(b)에 나타낸 바와 같이, 좌안 화상과 우안 화상이 수평 방향으로 매 교대 화소를 교대로 배치된 화상을, 화상 표시 패널(600)에 표시하고, 동일 시점의 화소의 간격보다도 좁은 간격으로 슬릿을 갖는 파라락스 배리어(601)을 화상 표시 패널(600)의 전면에 둠으로써 좌안 화상은 좌안(602) 만으로, 우안화상은 우안(603) 만으로 관찰하게 되고, 입체시를 할 수 있다.
상기 이외에도, 파라락스 배리어 방식과 같이 도 18(b)에 나타내는 형식의 화상을, 전면에 배치된 렌티큘라(lenticular) 렌즈를 사용하여 입체 표시하는 렌티큘라 방식 등도 있다.
여기서 파라락스 배리어 방식, 혹은 렌티큘라 방식에 대응한 기록 데이터 형식의 일례를 도 19에 나타낸다. 도 19(a)에 나타내는 좌안 화상과 도 19(b)에 나타내는 우안 화상은 각각에 대해 수평 방향으로 1 화소마다 솎아내지고 도 19(c)에 나타내는 1매의 입체화상을 만들어 기록한다. 표시할 때는 이 입체화상을 화소마다 재배치함으로써, 파라락스 배리어 방식 혹은 렌티큘라 방식에 대응한 표시장치로 보면, 맨눈으로 입체적으로 관찰할 수 있게 된다.
특허 문헌1: 일본 특개평 6-324413호 공보
특허 문헌2: 일본 특개평 9-160143호 공보
발명이 해결하려고 하는 과제
그러나, 도 19(c)에 나타낸 입체화상을 입체시에 대응하지 않는 통상의 표시장치로 표시한 경우, 좌안용 화상, 우안용 화상이 좌우에만 배치되도록 화상이 표시된다. 이 경우, 통상의 표시장치밖에 소유하지 않는 사람에게는, 그것이 입체시용으로 촬영된 화상임을 명확하게 식별할 수 없어 혼란을 야기할 가능성이 있다. 이 때문에, 통상의 표시장치로 입체화상을 표시한 때, 입체시용임을 나타내는 시인 가능한 수단이 구비되어 있는 것이 바람직하다. 한편, 이 입체시용 임을 나타내는 시인 가능한 수단, 즉 어떠한 마크도, 입체시 가능한 표시장치로 관찰한 경우에 입체시를 방해하지 않고, 또한 화상의 가공을 하는 경우나 화상 사이즈와 다른 인화지에 인쇄하는 경우 등에 삭제되지는 않는다. 상기 특허 문헌1 및 2에서는, 어느 쪽이 좌안용, 우안용인가를 구별하는 것은 가능하지만, 사진에 의한 맨눈 입체시의 경우인 것이고, 표시장치 상에서의 보기 쉬움에 관해서는 고려되고 있지 않다. 또한 마크가 가공 또는 인쇄시에 삭제될 가능성이 있는 것도 고려되고 있지 않다.
본 발명은, 이상과 같은 문제점을 해결하기 위해 이루어진 것으로, 입체화상 데이터 내에 입체화상임을 나타내는 식별정보를 가짐과 동시에, 입체 표시한 경우에도 관찰이 방해되지 않도록 하는 화상 처리장치를 제공하는 것을 목적으로 한다.
과제를 해결하기 위한 수단
본 발명은, 복수 시점의 각각에 대응한 복수 화상으로 구성되는 입체화상 데이터를 작성하는 화상 처리장치에 있어서, 입체화상임을 나타내는 정보와, 또한 입체화상의 작성 방법을 나타내는 정보를 포함하고, 상기 입체화상의 표시 시에 화상으로서 시인 가능한 입체화상 식별정보를 작성하는 정보 작성수단을 구비하고, 상기 입체화상 데이터는 상기 입체화상 식별정보를 포함하는 것을 특징으로 한다.
또한 상기 입체 화상정보는, 상기 입체화상 데이터 내의 2개소 이상 배치되는 것을 특징으로 한다.
또한 상기 입체화상 식별정보는, 상기 입체화상 데이터를 입체시 가능한 표시장치에 표시할 때, 서로 융상(融像)하도록 배치하는 것을 특징으로 한다.
또한 상기 입체화상 식별정보의 배치 위치를 상기 입체화상 데이터 내의 임의의 위치에서 결정하는 배치 위치 결정수단을 더 구비하는 것을 특징으로 한다.
또한 상기 입체화상 데이터 내에 주목 화상영역을 설정하는 주목 화상영역 설정수단을 더 구비하고, 상기 배치 위치 결정수단은, 상기 입체화상 식별정보를 상기 입체화상 데이터 내에서 상기 주목 화상영역보다도 외측에 배치하는 것을 특징으로 한다.
또한 화상을 표시하는 화상 표시수단을 더 구비하고, 상기 배치 위치 결정수단에 의해 배치될 예정의 위치에 상기 입체화상 식별정보를 배치한 상태의 화상을 상기 화상 표시수단에 표시하면서, 상기 배치 위치 결정수단은 상기 입체화상 식별정보의 배치위치를 지시하는 배치 위치 확정정보에 따라서 입체화상 식별정보의 배치 위치를 결정하는 것을 특징으로 한다.
또한 상기 배치 위치 결정수단은, 상기 배치 위치 확정정보에 따라서 배치위치를 확정할 때, 상기 입체화상 식별정보가 배치되는 예정 위치를 가변할 수 있도록 구성되는 것을 특징으로 한다.
또한 상기 입체화상 데이터의 임의의 영역의 깊이로 재생 위치를 추정하는 재생 위치 추정 수단을 더 구비하고, 상기 배치 위치 결정수단은, 재생 위치 추정 수단의 추정 결과를 기본으로 영역을 선택하여 상기 입체화상 식별정보의 배치 위치를 결정하는 것을 특징으로 한다.
또한 상기 배치 위치 결정수단은, 상기 재생 위치 추정 수단에 의해 화면 뒤에 입체화상이 재생되면 추정된 영역에 상기 입체화상 식별정보의 배치 위치를 결정하는 것을 특징으로 한다.
또한 상기 입체화상 식별정보는, 입체화상 데이터의 상단 혹은 하단에 기록되고, 또한 입체화상 데이터의 수평 방향의 크기 H, 수직 방향의 크기 Ⅴ에 대해, 수평 방향에 대해 (4/3)×Ⅴ/2 이하, 수직방향에 대해 (2/3)×H/2 이하의 범위 내로 배치되는 것을 특징으로 한다.
발명의 효과
본 발명의 화상 처리장치에 의하면, 복수 시점의 각각에 대응한 복수의 화상으로 구성되는 입체화상 데이터는, 입체화상임을 나타내는 정보와, 또한 입체화상의 작성 방법을 나타내는 정보를 포함하고, 입체화상의 표시 시에 화상으로서 시인 가능한 입체화상 식별정보를 포함함으로써 입체시에 대응하지 않는 2차원 표시의 표시장치로 관찰하여도, 입체시용의 화상임을 식별할 수 있게 된다.
또한 입체화상 식별정보를 입체화상 데이터의 2개소 이상에 배치함으로써 화상을 트리밍(trimming)한 경우에 식별정보가 절취될 가능성을 줄일 수 있다.
또한 입체화상 데이터를 입체시 가능한 표시장치에 표시할 때, 입체화상 식별정보가 서로 융상하도록 배치함으로써, 입체시한 경우에 입체화상 식별정보가 입체적으로 보이기 때문에, 식별정보가 입체시가 방해되는 것을 방지할 수 있다.
또한 입체화상 식별정보의 배치 위치를 상기 입체화상 데이터 내의 임의의 위치로 결정하는 배치 위치 결정수단을 더 구비함으로써 화상의 촬영자나 작성자가 화상에 따라 식별정보의 배치를 선택할 수 있게 되고, 입체시 하고 싶은 피사체가 방해되지 않도록 위치를 자유롭게 선택할 수 있다.
또한 입체화상 데이터 내에 주목 화상영역을 설정하는 주목 화상영역 설정수단을 더 구비하고, 입체화상 식별정보를 입체화상 데이터 내의 주목 화상영역보다도 외측에 배치함으로써 제작자가 입체시 하고 싶은 부분으로서 설정한 주목 화상영역에 식별정보가 표시되는 것을 방지할 수 있다.
또한 화상을 표시하는 화상 표시수단을 더 구비하고, 상기 배치 위치 결정수단에 의해 배치될 예정인 위치에 상기 입체화상 식별정보를 배치한 상태의 화상을 화상 표시수단에 표시하고, 상기 배치 위치 결정수단은, 상기 입체화상 식별정보의 배치 위치를 지시하는 배치 위치 확정정보에 따라 입체화상 식별정보의 배치 위치를 결정함으로써 식별정보 배치 후의 화상의 모양을 표시수단에 의해 확인하면서 배치 위치를 결정할 수 있다.
또한 상기 배치 위치 결정수단은, 상기 배치 위치 확정정보에 따라 배치 위치를 확정할 때, 상기 입체화상 식별정보가 배치되는 예정위치를 가변할 수 있도록 구성됨으로써 작성자가 식별마크를 임의의 위치에 배치할 수 있음과 동시에, 주목 화상영역 내나 화상의 외측 등의 부적절한 위치에 배치하고자 한 때, 적절한 위치로 배치 위치를 변경할 수 있다.
또한 상기 입체화상 데이터의 임의의 영역의 깊이로 재생 위치를 추정하는 재생 위치 추정 수단을 더 구비하고, 상기 배치 위치 결정수단은, 재생 위치 추정 수단의 추정 결과에 기초하여 영역을 선택하여 상기 입체화상 식별정보의 배치 위치를 결정함으로써, 상기 입체화상 식별정보와 그 배치 위치 주위의 화상의 깊이로 재생 위치가 서로 크게 달라지는 것에 기인하는 관찰시의 위화감을 경감할 수 있다.
또한 상기 배치 위치 결정수단은, 상기 재생 위치 추정 수단에 의해 화면 뒤에 입체화상이 재생되면 추정된 영역에 상기 입체화상 식별정보의 배치 위치를 결정함으로써 특히 위화감이 큰 입체화상이 표시장치의 화면 상보다도 앞쪽으로 재생되는 영역에 식별정보가 배치됨으로써 식별정보만이 가라앉아 보이는 듯한 입체화상 데이터가 생성되는 것을 방지할 수 있다.
또한 입체화상 식별정보를, 입체화상 데이터의 수평 방향의 크기 H, 수직 방향의 크기 V에 대해, 입체화상 데이터의 중심에서 수평 방향에 대해 (4/3)×Ⅴ/2 이하, 수직 방향에 대해 (2/3)×H/2 이하의 범위 내에 배치함으로써 인쇄 시에 입체화상 식별정보가 절취될 가능성을 줄일 수 있게 된다.
도 1은 본 발명의 실시형태1의 화상 처리장치의 구성을 나타낸 블록도이다.
도 2는 입체화상 데이터의 일례를 나타내는 도면이다.
도 3은 입체화상 데이터에서 식별마크의 배치에 관한 일례를 나타낸 도면이다.
도 4는 입체화상 데이터에서 식별마크의 배치에 관한 일례를 나타낸 도면이다.
도 5는 입체화상 데이터에서 식별마크의 배치 제한을 나타낸 도면이다.
도 6은 입체화상 데이터에서 식별마크를 배치 제한 범위로 배치했을 때의 일례를 나타낸 도면이다.
도 7은 파일형식으로 3D 정보에 대해 설명하기 위한 도면이다.
도 8은 본 발명의 실시형태2의 화상 처리장치를 나타낸 블록도이다.
도 9는 입체화상 데이터에서 식별마크의 표현에 관한 일례를 나타낸 도면이다.
도 10은 입체화상 데이터에서 식별마크의 배치에 관한 일례를 나타낸 도면이다.
도 11은 3D 주목 화상영역을 설정한 경우의 식별마크의 배치에 관한 설명의 도면이다.
도 12는 입체화상 데이터에서 식별마크의 배치에 관한 일례를 나타낸 도면이다.
도 13은 화상 재생 장치를 나타낸 블록도이다.
도 14는 2D 디스플레이와 3D 디스플레이에서의 표시 화상을 나타낸 도면이다.
도 15는 본 발명의 실시형태2에서 화상 처리장치의 변형예를 나타낸 블록도이다
도 16은 본 발명의 실시형태3의 화상 처리장치를 나타낸 블록도이다.
도 17은 시분할 방식을 설명하기 위한 개념도이다.
도 18은 파라락스 배리어 방식을 설명하기 위한 개념도이다.
도 19는 파라락스 배리어 방식의 기록 데이터 형식을 설명하는 도면이다.
부호의 설명
100, 200, 300 화상 처리장치; 101 제어수단;
102 3D 정보 작성수단; 103 화상 통합수단; 104 부호화 수단;
105 다중화 수단; 201 위치 결정수단; 202 주목 화상영역 결정수단;
203 재생 위치 추정 수단; 301 화상 표시수단; 500 화상 재생 장치;
501 역다중화 수단; 502 3D 정보 해석 수단; 503 복호 수단;
504 화상 변환 수단; 600 화상 표시 패널; 601 파라락스 배리어; 602 우안;
603 좌안
발명을 실시하기 위한 최선의 형태
(실시형태 1)
본 발명의 실시형태에서는 도면을 참조하면서 설명한다. 이하에서는, 「3D」를 3차원 또는 입체, 「2D」를 2차원을 의미하는 용어로서 사용하고, 입체화상을「3D 화상」, 통상의 2차원 화상을「2D 화상」으로서 설명한다.
도 1은 본 발명의 실시형태1의 화상 처리장치의 구성을 나타낸 블록도이다.
화상 처리장치(100)는, 입체화상인 것, 및 입체화상의 작성 방법을 나타내는 화상 식별정보와, 화상 식별정보를 시각적으로 나타내는 식별마크의 배치 위치에 관한 정보 등의 3D 정보를 출력하는 제어수단(101)과, 식별마크를 작성하는 3D 정보 작성수단(102)과, 좌안 화상과 우안 화상, 및 3D 정보 작성수단(102)에 의해 작성된 식별마크를 통합하는 화상 통합수단(103)과, 통합한 화상을 부호화하는 부호화 수단(104)과, 화상 데이터와 3D 정보를 다중화하여 출력하는 다중화 수단(105)과, 기록 매체나 통신 회선에 액세스하는 수단으로 구성된다.
좌안 화상과 우안 화상으로 이루어지는 화상 신호가, 화상 처리장 치(100)에 입력된다. 제어수단(101)은, 입체화상인 것, 및 어떠한 작성 방법인지를 지정함과 동시에, 다음에 작성되는 식별마크를 배치하는 위치를 지정한다. 제어수단(101)은, 입체화상임을 나타내는 정보와 입체화상의 작성 방법을 나타내는 정보를 포함하는 화상 식별정보와, 또한 화상 식별정보의 배치 위치에 관한 정보 등을 포함하는 3D 정보를, 3D 정보 작성수단(102)과 다중화 수단(105)으로 보낸다.
3D 정보 작성수단(102)은, 화상 식별정보를 기본으로, 입체화상과 작성 방법 을 시각적으로 나타내는 식별마크를 작성하고, 식별마크의 배치 위치 정보와 함께 화상 통합수단(103)으로 보낸다. 화상 통합수단(103)은 좌안의 시점 위치로부터 본 화상인 좌안 화상과, 우안부터의 화상인 우안 화상, 및 배치위치 정보에 기초해 식별마크를 통합하고, 지정된 형식의 화상 데이터를 작성한다. 여기서, 화상 통합수단에 의해 작성된 화상 데이터의 구체예를 도 2에 나타낸다. 도 2에서, 관찰자의 좌측에 배치된 화상L이 좌안 화상이고, 우측에 배치된 화상R이 우안 화상이다.
입체화상 내의「3D Parallel」로 표시되어 있는 부분이 식별마크를 나타낸다. 「3D」에 의해 입체화상임을, 「Parallel」에 의해 이 화상이 평행법에 의해 작성된 것을 나타내고 있다. 입체화상임을 나타내는 문자열로서는, 「3D」외에, 「Stereo」, 「Stereo Photograph」이나, 「Stereo Image」등이어도 좋다. 또한 작성 방법의 구별을 나타내는 문자열로서는, 교차법이면 「Crossing」등으로 표시하면 좋고, 보다 간단히 평행법을「P」, 교차법을「C」로 표시해도 좋다. 또한 문자 이외에도 평행법을「ll」, 교차법을「×」의 기호로 나타내도 좋다.
이와 같은 식별마크를 통합함으로써 2D 디스플레이에 표시했을 때, 곧 3D용 화상인 것을 판단할 수 있다. 또한 작성 방식이 명확하게 됨으로써, 2D의 디스플레이에 표시한 상기 입체화상을 맨눈으로 입체시할 때, 입체시하기 쉬운 이점이 있다. 입체시 하는 경우, 평행법인 경우 좌안에 의해 좌측에 배치된 화상을, 우안에 의해 우측에 배치된 화상을 볼 필요가 있고, 교차법인 경우 좌안에 의해 우측에 배치된 화상을, 우안에 의해 좌측에 배치된 화상을 볼 필요가 있지만, 화상의 작성 방법을 명확하게 함으로써, 어느 쪽의 방향을 하면 좋을지 곧 판별할 수 있게 된 다.
입체화상에서 식별마크의 배치 방법으로서는, 여러 가지 패턴이 있다. 제어수단(101)은 미리 정해진 방법에 따라서 식별마크를 배치하는 위치를 결정한다. 도 3 및 도 4에 그 예를 나타낸다. 도 3(a)는, 화상의 중앙 부근에 식별마크를 배치한 예이고, 도 3(b)는 입체화상 상의 상하단 어느 근방의 중앙에 위치한 경우의 예로서, 화상 중앙 상부에 배치한 예이다. 도시하고 있지 않지만, 화상 중앙 하부에 배치해도 좋다. 또한 도 3(c)는 입체화상 상의 어떠한 코너에서도 위치하는 경우의 예로서 화상 좌상부에, 도 3(d)는 좌우단 어느 근방의 중앙에 위치한 경우의 예로서, 화상 우단부에 배치한 도면이다. 도시하고 있지 않지만, 화상 좌하, 우상, 좌하이어도 좋고, 화상 좌단부에 배치해도 좋다.
또한 도 3(e)는 입체화상 상의 상단과 우단의 각 중앙 부근에 배치한 예이고, 도 3(f)는 하단과 좌단의 각 중앙 부근에 배치한 예이다. 도시하고 있지 않지만, 상단과 좌단, 하단과 우단이어도 좋다. 여기에서는 2개소에 마크를 배치한 예를 들었지만, 이와 같이 입체화상 상의 2개소 이상에 마크를 배치함으로써 화상 편집 등으로 트리밍이 실시되고, 상하단 혹은 좌우단이 절취된 경우라도, 어느 쪽의 마크가 남게 되고, 3D 화상인 것을 판별할 수 있다.
도 4는 좌우 각각에 식별마크를 배치한 예이다. 도 3의 배치에서는, 3D 대응 디스플레이에 표시한 때, 식별마크는 입체화상으로서의 재현 조건을 만족시키지 못하기 때문에 정상의 화상으로서 관찰할 수 없어 위화감이 생긴다. 그때문에, 도 4에 나타내는 바와 같이 좌우 화상의 거의 동일한 위치에 작성 조건에 따라 각각 시 차를 갖게 한 위치에 식별마크를 배치함으로써 입체시 한 때 마크를 서로 융상시켜 똑바로 입체시 가능하도록 한다. 도 4(a)는, 입체화상 상의 상하단 어느쪽 변 근방에 있어서 좌우 융상하도록 식별마크를 배치한 예로서, 좌우 화상의 하단에 배치한 도면이다. 도시하고 있지 않지만 상단이어도 좋다.
또한 도 4(b)는 입체화상 상의 각 시점 화상 좌단끼리, 또는 우단 끼리에 있어서 좌우 융상하도록 배치한 경우의 예이고, 각 시점 화상의 좌단에 배치한 예이다. 도시하고 있지 않지만, 각 시점 화상의 우단이어도 좋다. 도 4(c)는, 입체화상 상에 좌우 융상하도록 각 시점 화상에 2개소씩 배치한 경우의 예이고, 좌단과 하단에 배치하고 있다. 도시하고 있지 않지만, 좌단과 상단, 우단과 하단, 우단과 상단에 배치해도 좋다.
이상과 같이, 몇몇 배치 방법이 있지만, 이러한 화상을 3D 비대응 기기로 프린트한 경우, 용지 사이즈에 의해서는 트리밍되어 마크가 지워져버리는 경우가 있다. 그 때문에, 마크가 절취되는 것을 방지하기 위해서 마크를 아래의 범위 내에서 배치한다.
화상 및 인화지의 종횡비는 약 4:3, 혹은 3:2가 일반적인 사이즈이다. 그 때문에, 3:2의 화상을 4:3의 인화지에 출력하여 좌우단이 절취되거나, 혹은 4:3의 화상을 3:2의 인화지에 출력하여 상하단이 절취되는 경우가 있을 수 있다.
이때 마크가 절취되지 않게 하기 위한 조건을, 도 5를 기본으로 나타낸다. 도 5에서, 실선으로 나타낸 외측의 부분이 입체화상의 범위를 나타내고, 점선으로 둘러싸인 부분은 출력되는 인화지의 사이즈로 한다. 도 5(a)는, 3:2의 화상을 4:3 의 인화지에 출력하는 경우이고, 입체화상에서 세로의 길이를 V, 가로의 길이를 H, 인화지 가로의 길이를 H'라고 한다. 인화지의 사이즈로부터 H':V=4:3이기 때문에, H'=(4/3)×Ⅴ로 된다. 그 때문에, 식별마크를 배치하는 범위를 HMARK라고하면, 화상의 중심으로부터
HMARK ≤ (4/ 3)×Ⅴ/2
의 범위 내로 배치함으로써 인쇄시에 트리밍되어 절취되는 것을 방지할 수 있다.
또한 도 5(b)는, 4:3의 화상을 3:2의 인화지에 출력하는 경우이고, 전과 동일하게, 입체화상의 세로의 길이를 V, 가로의 길이를 H, 인화지의 세로의 길이를 V'라고 하면, H:Ⅴ' = 3:2이기 때문에, V' = (2/3)×H가 된다. 그 때문에, 식별마크를 배치하는 수직 방향의 범위를 VMARK라고 하면, 화상의 중심으로부터
VMARK ≤ (2/3)×H/2
의 범위 내로 배치함으로써 인쇄시에 트리밍되어 절취되는 것을 방지할 수 있다. 이상의 범위 내에서, 도 3 및 4에 나타낸 위치에 마크를 배치하게 된다.
이와 같은 제한에 따라서 식별마크를 배치한 입체화상의 예를 도 6에 나타낸다. 화상 사이즈가 4:3인 경우이다. 도 3(e)에 나타낸 바와 같이, 상단과 우단에 식별마크를 배치하는 경우, 상단에 배치하는 마크는, 3:2의 인화지에 인쇄하는 경우에도 트리밍되어 절취되는 것을 방지하기 위해서, 도 6에 나타낸 바와 같이 화상 의 중심으로부터 VMARK보다도 짧은 범위를 나타내는 회색으로 나타낸 범위에서 배치한다.
부호화 수단(104)은, 화상 통합수단(103)에 작성된 화상 데이터를 부호화하고, 부호화 데이터를 작성한다. 부호화 방법으로서는, 정지 화상에 대해서는 JPEG, JPEG 2000 등의 국제 표준 방식을 들 수 있다. 여기에서는 정지 화상을 예로 들고 있지만, 동화상이어도 좋고, 동화상의 경우 화상 신호는 연속한 프레임으로 구성되고, 1 플레임마다 화상 처리장치에 입력된다. 동화상에 대해서는 MPEG (Moving Picture Experts Group)-1, MPEG-2, MPEG-4 등의 국제 표준 방식을 들 수 있다. 동화상의 부호화로서 프레임내 부호화만을 이용하는 경우는, Motion JPEG(Joint Photographic Experts Group) 등의 방식을 이용해도 좋다. 화상 부호화 방식으로서는, 상기에 한하지 않고 비표준 방식을 이용해도 좋고, 압축을 하지 않아도 좋다.
다중화 수단(105)은, 제어수단(101)으로부터의 3D 정보와 부호화 수단(104)으로부터의 부호화 데이터를 소정의 포맷으로 변환하여 외부에 출력한다. 도 1에는 도시되어 있지 않지만, 음성이나 텍스트를 다중화하는 경우는, 그들의 데이터도 다중화 수단(105)에서 다중화된다.
다중화수단(105)의 출력 처(destination)에는, IC 메모리나 광자기 디스크, 자기 테이프, 하드디스크 등의 기록 디바이스나, LAN 모뎀 등의 통신 디바이스가 접속된다. 여기서, 다중화 수단(105)에 IC 메모리가 접속되어 있는 경우의 기록 포맷에 대해서 설명한다. 일반적으로 IC 메모리를 기록 매체에 이용하는 경우에는, IC 메모리 상에 FAT (File Al1ocation Table) 등의 파일 시스템이 구축되고, 데이터는 파일로서 기록된다. 여기서 이용하는 파일 형식은 기존의 형식을 이용해도 좋고, 독자 형식이어도 좋다. 기존의 형식을 이용하는 경우, 3D 정보는 일반적으로 기존의 형식으로 준비되고 있는 헤더를 확장하는 메카니즘을 이용하여 기존 파일 헤더의 일부로서 기록되는 것이다. 이때의 예를 도 7에 나타낸다. 도 7(a)에 나타낸 바와 같이, 헤더 부분에 3D 정보가 기록된다. 도 7(b)에 나타낸 바와 같이, 3D 정보는 식별정보, 배치 방법 외에, 시점수 등의 정보를 포함한다.
기존의 형식을 이용하는 경우에는, 그 형식에 따른 확장자를 이용한다. JPEG 파일이라면 ".jpg"로 확장자를 이용한다. 이에 의해 3D 화상의 표시 기능을 갖지않는 종래의 재생장치에서도 기존 형식의 파일로서 인식하고, 2차원 화상으로서 표시할 수 있고, 이때 식별마크가 표시됨으로써 입체화상인 것을 판별할 수 있다.
(실시형태2)
본 발명의 실시형태에 대해서, 도면을 참조하면서 설명한다. 도 8은, 본 발명의 실시형태2의 화상 처리장치의 구성을 나타낸 블록도이다.
화상 처리장치(200)는, 입체화상인 것, 및 입체화상의 작성 방법을 나타내는 화상 식별정보와, 화상 식별정보를 시각적으로 나타내는 식별마크의 배치 위치에 관한 정보를 포함하는 3D 정보를 출력하는 제어수단(101)과, 식별마크의 배치 위치를 결정하는 위치 결정수단(201)과, 입체시 하고 싶은 영역을 결정하는 주목 화상영역 결정수단(202)과, 식별마크를 작성하는 3D 정보 작성수단(102)과, 좌안 화상과 우안 화상, 및 3D 정보 작성수단(102)에 의해 작성된 식별마크를 통합하는 화상 통합수단(103)과, 통합한 화상을 부호화하는 부호화 수단(104)과, 화상 데이터와 3D 정보를 다중화하여 출력하는 다중화 수단(105)과, 기록 매체나 통신 회선에 액세스하는 수단으로 구성된다.
좌안 화상과 우안 화상으로 이루어지는 화상신호가, 화상 처리장치에 입력된다. 입체화상의 촬영자, 혹은 화상의 작성자는, 사전 위치 결정수단(201)에 의해 입체화상인 것, 및 어떠한 작성 방법인지를 나타내는 식별마크를 표시하는 위치를 결정하고, 제어수단(101)으로 보낸다. 또한 3D 주목 화상영역을 설정하는 경우에는, 주목 화상영역 결정수단(202)에 의해 영역을 지정하고, 제어수단(101)으로 보낸다. 식별마크의 상세, 배치 위치 및 3D 주목 화상영역에 관해서는 후술한다. 제어수단(101)은, 입체화상인 정보와 작성 방법에 관한 정보를 포함하는 화상 식별정보와 배치 위치에 관한 정보를 포함하는 3D 정보를, 3D 정보 작성수단(102)과 다중화 수단(105)으로 보낸다.
3D 정보 작성수단(102)은, 화상 식별정보를 기본으로, 입체화상인 것과 작성 방법을 시각적으로 나타내는 식별마크를 작성하고, 식별마크의 배치위치에 관한 정보와 함께 화상 통합수단(103)으로 보낸다. 화상 통합수단(103)은, 좌안의 시점 위치에서 본 화상인 좌안 화상과, 우안으로부터의 화상인 우안 화상과 함께, 식별마크를 배치위치 정보에 기초해 통합하고, 지정된 형식의 화상 데이터를 작성한다.
여기서, 화상 통합수단(103)에 의해 작성된 입체화상의 구체예를 도 9에 나타낸다. 도 9에서, 관찰자의 좌측에 배치된 화상L이 좌안 화상이고, 우측에 배치된 화상R이 우안 화상이다. 입체화상 하부에, 회색으로 나타낸 띠 모양의 부분이 식별 마크이다. 식별마크로 표시되는 정보는, 도 2의 경우와 같이, 3D 화상인 것과 작성 방법에 관한 정보이다. 여기서의 식별마크는 색 기호에 의해 표시되고, 띠 모양 부분의 색에 의하여 입체화상인 것을, 상향 3각 마크의 색에 의해 작성 방법을 규정한다. 예로서, 띠 모양 부분의 색을 18% 회색으로, 작성 방법을 나타내는 3각의 색은 청색으로 평행법, 황색으로 교차법을 나타냄으로써 판별할 수 있다. 마크를 색 기호로 표현하면, 미리 색의 의미를 알고 있지 않다고 판별할 수 없고, 문자열에 표현한 쪽이 명확하게 판별하기 쉬운 이점이 있지만, 한편 색 기호 마크에는 색까지도 판단할 수 있으면 좋기 때문에, 마크의 전유 면적을 작게 할 수 있다는 장점이 있다.
입체화상에서 식별마크의 배치 위치는, 위치 결정수단(201)을 통해 촬영자나 작성자가 임의의 위치에 설정할 수 있다. 그 예를 나타낸 것이 도 10이다. 도 10(a)는 입체화상의 중앙 부분에 배치한 예이다. 또한 도 10(b)는, 입체화상 상의 각 시점 화상의 좌단끼리, 또는 우단끼리에 있어서, 좌우 융상하는 위치에 배치한 경우의 예이고, 좌단에 배치한 경우를 나타내고 있다. 도시하고 있지 않지만, 우단끼리이어도 좋다. 도 10(c)은 입체화상 상의 좌우 시점 화상 각각의 외주 부분을 둘러싸고, 좌우 융상 가능하도록 위치한 경우의 도면이다. 이들 중에서, 화상의 구도에 맞춰 자유롭게 선택하게 된다.
또한 도 10에 나타낸 예 이외에, 식별마크를 3D 주목 화상영역 외에 두는 방법이 있다. 도 11 및 12에 이 예를 나타낸다. 3D 주목 화상영역이란, 작성자가 입체시 하고 싶은 화상영역이다. 화상의 작성자는, 주목 화상영역 결정수단(202)에 의해 3D 주목 화상영역을 설정한다. 화상 편집 소프트웨어 등에 의해 좌우 시점의 화상을 작성하면, 그를 기본으로 미리 3D 주목 화상영역을 결정하고, 주목 화상영역 결정수단(202)에 의해 설정한다. 예를 들면 도 11(a)에서, 좌우의 화상을 통합한 화상 상에, 작성자가 점선으로 둘러싸인 부분을 입체시 하고 싶으면, 이 점선 부분을 3D 주목 화상영역으로서 설정하고, 도 11(b)에 나타내는 바와 같이, 이 외측에 식별마크를 배치한다. 또한, 도 11에서는 3D 주목 화상영역을 좌우의 입체화상 내에 설정하고 있고, 식별마크 배치 다음의 화상 사이즈는 변화하지 않는다. 예를 들면, 입체화상을 구성하는 좌우 화상이 각각 512×768이고, 통합 후의 사이즈가 1024×768의 이른바 XGA의 사이즈라면, 식별마크는 이 화상 사이즈 내에 배치되고, 최종적인 입체화상의 사이즈도 1024×768이 된다.
한편, 좌우 화상을 통합하여 생기는 화상 전부를 표시하고 싶은 경우에는, 3D 주목 화상영역을 좌우 화상을 통합한 영역 전체로 하고, 그 외측에 화상 사이즈를 크게 해 식별마크를 배치한다. 예를 들면, 좌우 화상이 각각 320×480의 사이즈이고, 이 전부를 입체시 하고 싶은 경우, 좌우 화상을 통합한 640×480의 영역이 3D 주목 화상영역이 된다. 이 경우, 식별마크는 그 외측에 배치된다. 도 12(a)에 나타낸 바와 같이, 상단에 횡 길이의 띠 모양 마크를 배치하는 경우, 띠 모양 마크의 사이즈가 640×60이라면, 좌우 화상을 통합한 3D 주목 화상영역의 상측에 띠 모양 마크를 배치함으로써, 입체화상은 최종적으로 640×540의 사이즈가 된다.
이와 같이 3D 주목 화상영역 외에 식별마크를 배치함으로써 통상의 2D 디스플레이에 이 화상을 표시한 때는, 식별마크에 의해 입체화상임을 나타냄으로써 혼 란을 방지할 수 있게 되고, 3D 디스플레이에 표시한 때는, 식별마크는 3D 주목 영역 외에 있기 때문에, 이 부분을 표시하지 않음으로써, 식별마크를 표시하지 않고, 입체시 하고 싶은 부분만을 표시할 수 있게 된다. 도 12(a) 이외에도, 도 12(b)에 나타낸 바와 같이, 입체화상 상의 상하단에 횡 길이의 띠 모양 마크를 3D 주목 화상영역 외에 두어도 좋다. 또한 도 12(c)는 입체화상 상의 좌우단에 종 길이의 띠 모양 마크를 3D 주목 화상영역 외에 둔 도면이고, 도 12(d)는 입체화상 상의 외주 부분을 둘러싼 띠 모양 마크를 3D 주목 화상영역 외에 둔 도면이다.
부호화 수단(104)은, 화상 통합수단(103)에 작성된 화상 데이터를 부호화하여 부호화 데이터를 작성한다. 부호화 방법은, 실시형태1과 마찬가지로 JPEC 등의 국제 표준 방식을 들 수 있다. 상기에 한하지 않고 비표준 방식을 이용해도 좋고, 압축을 하지 않아도 좋다.
다중화수단(105)은, 제어수단(101)으로부터의 3D 정보와 부호화 수단(104)부터의 부호화 데이터를 소정의 포맷으로 변환하여 외부로 출력한다.
다중화 수단(105)의 출력처에는, IC 메모리나 광자기 디스크, 자기 테이프, 하드디스크 등의 기록 디바이스나, LAN 모뎀 등의 통신 디바이스가 접속된다. 예를 들면, 하드디스크가 접속될 때, JPEG 형식인 경우 데이터는 ".jpg"라는 확장자로 기록된다. 3D 정보는 일반적으로 기존의 형식으로 준비되어 있는 헤더를 확장하는 메카니즘을 이용하여 기존 파일 헤더의 일부로서 기록되고, 3D 정보는 식별정보, 배치 방법 외에, 시점수, 3D 주목 화상영역의 범위 등의 정보를 포함한다.
이와 같이 하여 기록된 다중화 데이터를 재생하는 화상 재생장치에 대해서 도 13을 들어 설명한다. 화상 재생 장치(500)에 재생하는 경우, 다중화 데이터는 역다중화 수단(501)에 의해 3D 정보와 부호화 데이터로 나뉘고, 3D 정보는 3D 정보해석 수단(502)에 의해 해석되고, 식별마크의 배치 위치나 3D 주목 화상영역에 관한 정보가 화상변환 수단(504)으로 보내진다. 부호화 데이터는 복호 수단(503)에 의해 복호되고, 화상 데이터가 화상 변환 수단(504)으로 보내진다. 그리고, 재생장치가 3D 디스플레이라면, 3D 주목 화상영역만을 입체적으로 표시해도 좋다. 도 14는 3차원 영상을 2D 디스플레이와 3D 디스플레이에 표시한 경우의 예를 나타내고 있고, 도 14(a)는 2D 디스플레이에 표시한 경우를, 도 14(b)는 3D 디스플레이에 표시한 경우에 표시되는 입체화상의 이미지를 나타내고 있다. 이 도 14(b)에 나타낸 바와 같이, 재생 장치 측에서 상기 3D 주목 화상영역을 검출하여 주목 화상영역 외를 비표시로 함으로써, 입체시 할 때 식별정보가 표시되지 않고, 입체시 하고 싶은 부분만을 관찰할 수 있게 된다.
또한 도 9에서, 식별마크의 색이나 형태에 관해서는 여기에 기술한 것뿐만 아니라, 예를 들면 입체화상임을 띠 모양이 아니어도 도 2에 나타낸 바와 같은 마크이어도 좋고, 색도 회색 이외에 청색 등으로 규정해도 좋다. 또한 띠 모양 부분이나 색 기호에 관하여, 색을 발라 나타내는 예를 들고 있지만, 배후의 화상을 투과하도록 해도 좋다. 작성 방법을 나타내는 도형에 관해서도 3각에 한하지 않고 원이나 4각이어도 좋고, 평행법을 빨강, 교차법을 녹색으로 한 바와 같이 다른 색으로 규정해도 좋다. 입체화상임을 나타내는 색과 작성 방법을 나타내는 색이 서로 판별하기 쉬운 조합이라면 좋다. 또한 도 12의 예는 좌우 화상을 통합하여 생기는 화상을 전부 표시하기 위해, 좌우 화상 전체가 3D 주목 화상영역이 되도록 3D 주목 화상영역을 설정하는 동시에 그 외측에 식별마크를 배치하고 있지만, 생성되는 화상 데이터의 사이즈가 커지지 않도록 하기 위해서, 주목 화상영역을 좌우 화상 전체에 설정하면서 그 내측에 식별마크를 배치하여도 좋다.
또한 식별마크의 배치에 관하여는, 도 10, 혹은 실시형태1에 나타낸 예로부터 미리 위치를 선택해 놓는 방법 이외에, 위치 결정수단(201)에 의해 자동으로 배치 위치를 결정하는 방법도 있다. 도 15는 그와 같은 구성의 화상 처리장치의 블록도를 나타내고 있다. 위치 결정수단(201)은, 식별마크의 배치 위치의 후보로서 도 10이나 실시형태1에서 나타낸 배치예 중에서 우선 순위를 두어 유지해 놓고, 입체화상의 내용에 따라 최적의 배치 위치를 선택한다.
그때, 입체시할 때 식별마크 자체도 똑바로 입체시 하기 위해서, 도 4나 도 10(b) 및 (c)에 나타낸, 식별마크가 좌우 서로 융상하는 배치를 선택한다. 이 때, 식별마크는 좌우 화상의 화면의 테두리에 대해 상대적으로 같은 위치에 배치하면, 입체시 한 경우, 식별마크는 시차를 갖지 않기 때문에, 재생(표시)되는 깊이 방향의 위치가 표시 화면 상과 같은 위치로 될 수 있다.
이때, 만일 식별마크 주위의 화상에 시차가 존재하고, 입체화상이 표시 화면 상의 위치보다도 앞쪽에 보이는 경우, 식별마크만이 표시 화면상의 위치에 생기기 때문에, 주위의 화상에 박힌 것처럼 보여 부자연스럽게 된다. 그 때문에, 도 15에 나타낸 재생위치 추정 수단(203)에 의해 좌우의 화상에 관하여 화소마다 값을 비교하고, 좌우 화상의 대응점을 검출하고, 입체시 한 경우에 화상이 재생되는 위치인 깊이로 재생 위치를 추정한다.
이 추정에 의해 미리 유지하는 우선 순위에 따라, 식별마크를 배치하는 후보 위치에서 입체화상의 깊이로 재생 위치를 취득하고, 입체화상의 재생 위치가 표시 화면 상으로부터 앞쪽에 오지 않으면, 그를 식별마크의 배치 위치로 한다. 우선 순위를 유지하지 않고 각 배치 위치의 후보에서 깊이로 재생 위치를 취득하고, 그 중에서 입체화상의 깊이로 재생 위치가 화면상에 가장 가까운 위치로 되는 영역에 식별마크를 배치해도 좋다.
(실시형태3)
본 발명의 실시형태에 대해서, 도면을 참고로 하여 설명한다. 도 16은 본 발명의 실시형태3의 화상 처리장치의 구성을 나타낸 블록도이다.
화상 처리장치(300)는, 입체화상인 것, 및 입체화상의 작성 방법을 나타내는 화상 식별정보와, 화상 식별정보를 시각적으로 나타내는 식별마크의 배치 위치에 관한 정보 등의 3D 정보를 출력하는 제어수단(101)과, 식별마크의 배치위치를 결정하는 위치 결정수단(201)과, 입체시 하고 싶은 화상영역을 결정하는 주목 화상영역 결정수단(202)과, 식별마크를 작성하는 3D 정보 작성수단(102)과, 여러 시점의 화상, 및 3D 정보 작성수단(102)에 의해 작성된 식별마크를 통합하는 화상 통합수단(103)과, 통합한 화상을 프리뷰하고, 화상의 작성자가 입체화상을 확인하기 위한 화상 표시수단(301)과, 통합한 화상을 부호화하는 부호화 수단(104)과, 기록 매체나 통신 회선에 액세스하는 수단을 구비하여 화상 데이터와 화상 식별정보를 다중화하여 출력하는 다중화수단(105)으로 구성된다.
좌안 화상과 우안 화상으로 이루어지는 화상 신호가 화상 처리장치에 입력된다. 입체화상의 촬영자 혹은 작성자는, 사전 위치 결정수단(201)에 의해 입체화상인 것과, 및 어떠한 작성 방법인지를 나타내는 식별마크를 표시하는 위치 후보를, 위치 입력수단을 이용하여 정보를 입력함으로써 결정하고, 제어수단(101)으로 보낸다. 위치 입력수단은 도시되어 있지 않지만, 화상 처리장치(300)에 접속되고, 마우스나 키보드 등의 공지된 입력수단으로 구성되고, 그 입력정보는 위치 결정수단(201)으로 보내진다. 주목 화상영역 결정수단(202)은 주목 화상영역을 지정하고, 제어수단(101)으로 보낸다. 제어수단(101)은, 입체화상인 정보와 입체화상의 작성 방법에 관한 정보를 포함하는 화상 식별정보와 배치위치에 관한 정보를 포함하는 3D 정보를, 3D 정보 작성수단(102)과 다중화수단(105)으로 보낸다.
3D 정보 작성수단(102)은, 화상 식별정보를 토대로, 입체화상인 것과 입체화상의 작성 방법을 시각적으로 나타내는 식별마크를 작성하고, 식별마크의 배치 위치 정보와 함께 화상 통합수단(103)으로 보낸다. 화상 통합수단(103)은, 복수의 시점 위치에서 본 화상과 함께, 식별마크를 배치위치 정보에 기초해 통합한 화상 데이터를 작성한다. 이때, 화상 통합수단(103)은 입체화상을 화상 표시수단(301)으로 보낸다. 화상 표시수단(301)은, 보내진 입체화상을 표시하고, 화상의 작성자는 입체화상을 확인하면서, 마우스 등의 위치 입력수단을 이용하여, 위치 결정수단(201)을 통해 식별마크의 배치위치 후보를 수정한다. 수정이 있는 경우, 3D 정보 작성수단(102), 화상 통합수단(103)을 통해, 다시 화상 표시수단(301)에 의해 확인하다. 배치위치가 결정되면, 위치 입력수단에 의해 배치 위치 확정정보를 위치 결정수 단(201)으로 보내면, 상기 배치 위치 확정정보에 따라서 식별마크의 배치 위치가 확정되고, 통합된 화상 데이터가 부호화수단(104)으로 보내지게 된다.
이에 의해 입체화상 상에 식별마크가 어떻게 배치되는지를 확인하면서, 화상에 맞추어 적절한 위치를 설정할 수 있게 된다. 또한 화상 표시수단(301)이, 2D 표시와 3D 표시의 양방에 대응한 디스플레이라면, 3D 표시로 변경함으로써 입체시한 경우에 어떠한 화상으로 되는지도 확인할 수 있다. 2D 와 3D의 표시에 대응한 표시장치로서는, 파라락스 배리어 방식으로, 배리어를 액정에 의해 실현하고, 3D 표시의 경우는 배리어에 의해 좌우안으로 각각 좌안 화상, 우안 화상에 대응한 빛만이 닿도록 제어하고, 2D 표시에서는 모든 빛을 투과하는 방식 등이 있다.
또한 이때 입체화상을 확인하면서 3D 주목 화상영역을 설정할 수도 있다. 화상 표시수단(301)을 보면서, 3D 주목 화상영역을 설정함으로써, 카메라 등에 의해 입체화상을 작성하는 경우에도 3D 주목 화상영역을 설정할 수 있고, 이 영역의 외측에 식별마크를 배치함으로써, 3D 디스플레이에 표시할 때, 식별마크를 표시하지 않을 수 있다. 이때의 식별마크의 배치 순서는, 본 화상 처리장치(300)에 접속되는 도시하지 않은 마우스 등의 공지된 위치 입력수단을 이용하여 작성자가 식별마크의 배치되는 예정 위치를 지정하면, 그 정보가 위치 결정수단(201)에 입력되고, 위치 결정수단(201)으로부터 그 정보를 수취한 제어수단(101)은 3D 정보 작성수단(102)에 위치정보를 보내고, 화상 통합수단(103)을 통해, 작성자가 지정한 위치에 식별마크가 배치된 상태의 화상을 표시수단(301)에 표시한다.
이때 당연하지만, 사용자에 의한 예정 위치의 지정은 전술한 3D 주목 화상영 역 외에만 제한되고 있고, 주목 화상영역 내에 지정된 때는, 배치 가능 범위 내의 최근방 위치가 대체적으로 선택되기도 하고, 배치불능의 경고가 행해지기도 하고, 적당한 조치가 취해진다. 그리고, 사용자가 예정위치를 가변 선택하면서, 타당하다고 판단한 시점에서 전술한 마우스 등의 적당한 입력수단을 이용하여 결정의 입력 조작을 함으로써, 배치 위치 확정정보가 위치 결정수단(201)으로 보내지고, 위치 결정수단(201)은 배치를 확정시킨다.
입체화상에서의 식별마크의 종류나 배치위치는, 실시형태1 및 2에서 설명한 바와 같이 여러 방법이 있고, 화상의 촬영자, 작성자가 입체화상을 확인하면서 임의로 결정할 수 있다.
부호화수단(104)은, 화상 통합수단(103)으로 작성된 화상 데이터를 부호화하고, 부호화 데이터를 작성한다. 부호화 방법은, 실시형태1과 동일한 JPEG 등의 국제 표준 방식을 들 수 있다. 상기에 한하지 않고 비표준 방식을 이용해도 좋고, 압축을 하지 않아도 좋다.
다중화수단(105)는, 제어수단(101)으로부터의 3D 정보와 부호화 수단(104)으로부터의 부호화 데이터를 소정의 포맷으로 변환하여 외부로 출력한다.
다중화수단(105)의 출력처에는, IC 메모리나 광자기 디스크, 자기 테이프, 하드디스크 등의 기록 디바이스나, LAN 모뎀 등의 통신 디바이스가 접속된다. 예를 들면, JPEC 형식이라면 데이터는 하드디스크에 ".jpg"라는 확장자로 기록된다. 3D 정보는 일반적으로 기존의 형식으로 준비되고 있는 헤더를 확장하는 메카니즘을 이용하고, 기존 파일 헤더의 일부로서 기록되고, 3D 정보는 식별정보, 배치 방법 외 에, 시점수, 3D 주목 화상영역의 범위 등의 정보를 포함한다.
또한, 도 16에서 화상 표시수단(301)은 화상 처리장치(300)에 포함되는 것으로 설명하였지만, 화상 처리장치(300)에 포함되지 않고 외부에 접속되는 것도 좋다.
또한 여기에서는 화상 표시수단(301)에 화상을 확인할 때, 그때마다 3D 정보 작성수단(102), 화상 통합수단(103)을 경유하는 것으로서 설명하였지만, 배치위치 확정정보에 의해 배치 위치가 확정할 때까지는, 화상 통합수단(103)을 경유시키지 않고 3D 정보 작성수단(102)으로부터의 정보를 화상 표시수단(301)으로 보내고, 화상 표시수단(301)에 단순히 식별마크를 거듭하여 표시하는 것만으로도 좋다. 또한 3D 정보 작성수단(102)은 최초의 배치시만 경유하고, 그 이후 배치 위치 확정정보에 의해 배치 위치가 확정할 때까지는 제어수단(101)보다 식별마크의 위치 정보만이 보내지고, 식별마크의 위치만을 화상 표시수단(301)에 의해 변경해도 좋다. 그 후, 배치 위치 확정정보에 따라 위치 결정수단(201)이 배치위치를 결정하면, 제어수단(101), 3D 정보 작성수단(102), 화상 통합수단(103)에 의해 통합 화상을 작성한다.
또한 여기에서는 식별마크의 배치 시에, 배치하는 위치는 전술한 3D 주목 화상영역외로만 제한하고, 3D 주목 화상영역 내에 배치하고자 한 경우에 경고나 자동으로의 위치변경을 하였지만, 3D 주목 화상영역을 설정하고 있지 않은 경우에, 입체화상으로부터 식별마크가 돌출하는 위치로 배치한 경우나, 실시형태1에서 나타낸 식별마크 배치범위의 조건인 HMARK 및 VMARK를 만족하지 않는 배치를 한 경우에, 동일한 경고나 위치변경을 해도 좋다.
또한 본 실시형태에서 나타낸 화상 표시수단(301)은, 실시형태2의 도 15에 나타낸 구성의 화상 처리장치에도 적용 가능하고, 재생 위치 추정수단을 이용하여 자동으로 식별마크 배치위치를 결정하는 구성의 경우에, 화상 표시수단(301)을 구비하고, 식별마크의 위치를 화상 표시수단을 이용하여 확인하면서 결정해도 좋다.
또한 본 발명은 상술한 각 실시형태에 한정되는 것이 아니고, 청구항에 나타낸 범위에서 여러 가지로 변경 가능하고, 상이한 실시형태에 각각 개시된 기술적 수단을 적절히 조합하여 얻어지는 실시형태에 관해서도 본 발명의 기술적 범위에 포함된다.

Claims (10)

  1. 복수 시점의 각각에 대응한 복수 화상으로 구성되는 입체화상 데이터를 작성하는 화상 처리장치에 있어서, 입체화상임을 나타내는 정보와, 또한 입체화상의 작성 방법을 나타내는 정보를 포함하고, 상기 입체화상의 표시 시에 화상으로서 시인 가능한 입체화상 식별정보를 작성하는 정보 작성수단을 구비하고, 상기 입체화상 데이터는 상기 입체화상 식별정보를 포함하는 것을 특징으로 하는 화상 처리장치.
  2. 제 1항에 있어서, 상기 입체 화상정보는, 상기 입체화상 데이터 내의 2개소 이상 배치되는 것을 특징으로 하는 화상 처리장치.
  3. 제 1항 또는 제 2항에 있어서, 상기 입체화상 식별정보는, 상기 입체화상 데이터를 입체시 가능한 표시장치에 표시할 때, 서로 융상하도록 배치하는 것을 특징으로 하는 화상 처리장치.
  4. 제 1항 내지 제 3항중 어느 하나에 있어서, 상기 입체화상 식별정보의 배치 위치를 상기 입체화상 데이터 내의 임의의 위치에서 결정하는 배치 위치 결정수단을 더 구비하는 것을 특징으로 하는 화상 처리장치.
  5. 제 4항에 있어서, 상기 입체화상 데이터 내에 주목 화상영역을 설정하는 주 목 화상영역 설정수단을 더 구비하고, 상기 배치 위치 결정수단은, 상기 입체화상 식별정보를 상기 입체화상 데이터 내에서 상기 주목 화상영역보다도 외측에 배치하는 것을 특징으로 하는 화상 처리장치.
  6. 제 4항에 있어서, 화상을 표시하는 화상 표시수단을 더 구비하고, 상기 배치 위치 결정수단에 의해 배치될 예정의 위치에 상기 입체화상 식별정보를 배치한 상태의 화상을 상기 화상 표시수단에 표시하면서, 상기 배치 위치 결정수단은 상기 입체화상 식별정보의 배치위치를 지시하는 배치 위치 확정정보에 따라서 상기 입체화상 식별정보의 배치 위치를 결정하는 것을 특징으로 하는 화상 처리장치.
  7. 제 6항에 있어서, 상기 배치 위치 결정수단은, 상기 배치 위치 확정정보에 따라서 배치위치를 확정할 때, 상기 입체화상 식별정보가 배치되는 예정 위치를 가변할 수 있도록 구성되는 것을 특징으로 하는 화상 처리장치.
  8. 제 4항에 있어서, 상기 입체화상 데이터의 임의의 영역의 깊이로 재생 위치를 추정하는 재생 위치 추정 수단을 더 구비하고, 상기 배치 위치 결정수단은, 재생 위치 추정 수단의 추정 결과를 기본으로 영역을 선택하여 상기 입체화상 식별정보의 배치 위치를 결정하는 것을 특징으로 하는 화상 처리장치.
  9. 제 8항에 있어서, 상기 배치 위치 결정수단은, 상기 재생 위치 추정 수단에 의해 화면 뒤에 입체화상이 재생되면 추정된 영역에 상기 입체화상 식별정보의 배치 위치를 결정하는 것을 특징으로 하는 화상 처리장치.
  10. 제 1항 내지 제 9항 중 어느 하나에 있어서, 상기 입체화상 식별정보는, 상기 입체화상 데이터의 수평 방향의 크기 H, 수직 방향의 크기 Ⅴ에 대해, 입체화상 데이터의 중심으로부터 수평 방향에 대해 (4/3)×Ⅴ/2 이하, 수직방향에 대해 (2/3)×H/2 이하의 범위 내로 배치되는 것을 특징으로 하는 화상 처리장치.
KR1020087004173A 2005-07-26 2006-07-25 화상 처리장치 KR100935149B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00215402 2005-07-26
JP2005215402A JP4630149B2 (ja) 2005-07-26 2005-07-26 画像処理装置

Publications (2)

Publication Number Publication Date
KR20080030676A true KR20080030676A (ko) 2008-04-04
KR100935149B1 KR100935149B1 (ko) 2010-01-06

Family

ID=37683344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087004173A KR100935149B1 (ko) 2005-07-26 2006-07-25 화상 처리장치

Country Status (6)

Country Link
US (1) US20090128622A1 (ko)
EP (1) EP1912447A4 (ko)
JP (1) JP4630149B2 (ko)
KR (1) KR100935149B1 (ko)
CN (1) CN101199210B (ko)
WO (1) WO2007013449A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383798B2 (ja) * 2008-06-13 2014-01-08 トムソン ライセンシング 立体フィルムにマーク付けするシステム及び方法
CN102177717B (zh) * 2008-10-07 2014-01-29 艾利森电话股份有限公司 一种用于产生媒体容器文件的方法及设备
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
MX2011011029A (es) 2009-05-01 2011-11-04 Loctite R & D Ltd Aceladores de curacion para composiciones curables anaerobias.
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
JP5492583B2 (ja) * 2010-01-29 2014-05-14 日立コンシューマエレクトロニクス株式会社 映像処理装置及び映像処理方法
JP2011166285A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像表示装置、画像表示観察システム及び画像表示方法
WO2011097037A1 (en) * 2010-02-08 2011-08-11 Thomson Licensing Method and system for forensic marking of stereoscopic 3d content media
KR101376066B1 (ko) 2010-02-18 2014-03-21 삼성전자주식회사 영상 표시 시스템 및 그 표시 방법
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US8994788B2 (en) 2010-05-25 2015-03-31 Panasonic Intellectual Property Corporation Of America Image coding apparatus, method, program, and circuit using blurred images based on disparity
JP5627930B2 (ja) * 2010-05-31 2014-11-19 オリンパスメモリーワークス株式会社 ３次元画像データ生成方法
JPWO2012017643A1 (ja) * 2010-08-06 2013-10-03 パナソニック株式会社 符号化方法、表示装置、及び復号方法
JP5594477B2 (ja) 2011-01-26 2014-09-24 Ｎｌｔテクノロジー株式会社 画像表示装置、画像表示方法、及びプログラム
JPWO2012131862A1 (ja) * 2011-03-28 2014-07-24 株式会社東芝 画像処理装置、立体画像表示装置、方法およびプログラム
CN103024414A (zh) * 2012-12-06 2013-04-03 福建天晴数码有限公司 一种基于WinXP系统的3D显示方法
CN104702939B (zh) * 2015-03-17 2017-09-15 京东方科技集团股份有限公司 图像处理系统、方法、确定位置的方法及显示系统
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
JP2021118479A (ja) * 2020-01-28 2021-08-10 株式会社ジャパンディスプレイ 画像処理装置およびヘッドアップディスプレイ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51134558A (en) * 1975-05-19 1976-11-22 Hitachi Ltd Measuring unit
DE3687760T2 (de) * 1985-03-13 1993-06-09 Topcon Corp Vorrichtung und verfahren zur koordinatenmessung.
US4851901A (en) * 1986-09-03 1989-07-25 Kabushiki Kaisha Toshiba Stereoscopic television apparatus
US4962422A (en) * 1988-06-23 1990-10-09 Kabushiki Kaisha Topcon Stereoscopic image display apparatus
US5784097A (en) * 1995-03-29 1998-07-21 Sanyo Electric Co., Ltd. Three-dimensional image display device
JPH09160143A (ja) * 1995-12-12 1997-06-20 Nikon Corp ステレオカメラ
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JPH1188912A (ja) * 1997-09-10 1999-03-30 Canon Inc 複眼カメラ及び複眼カメラにおける表示制御方法
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP3789794B2 (ja) * 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
JP4225768B2 (ja) * 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム
JP2004274091A (ja) * 2003-01-15 2004-09-30 Sharp Corp 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
JP2005159850A (ja) * 2003-11-27 2005-06-16 Seiko Epson Corp 画像と文字列の合成

Also Published As

Publication number Publication date
WO2007013449A1 (ja) 2007-02-01
EP1912447A1 (en) 2008-04-16
US20090128622A1 (en) 2009-05-21
CN101199210A (zh) 2008-06-11
JP4630149B2 (ja) 2011-02-09
EP1912447A4 (en) 2013-10-16
JP2007036528A (ja) 2007-02-08
KR100935149B1 (ko) 2010-01-06
CN101199210B (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
KR100935149B1 (ko) 화상 처리장치
US7889196B2 (en) 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, 3-dimensional image processing program and recording medium recorded with the program
JP4693900B2 (ja) 画像処理装置
JP4251907B2 (ja) 画像データ作成装置
KR100740607B1 (ko) 화상 데이터 작성 장치 및 그 데이터를 재생하는 화상데이터 재생 장치
KR100940879B1 (ko) 입체화상 기록장치
EP2399398B1 (en) Combining 3d image and graphical data
JP4251864B2 (ja) 画像データ作成装置およびそのデータを再生する画像データ再生装置
EP1501316A1 (en) Multimedia information generation method and multimedia information reproduction device
JP4252105B2 (ja) 画像データ作成装置及び画像データ再生装置
US7715618B2 (en) Image file creating apparatus and image file reproducing apparatus
JP2004274091A (ja) 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
JP2005184377A (ja) 画像変換装置及びそれを用いた画像記録装置
JP2004343549A (ja) 画像記録装置および画像記録方法
JP2006013760A (ja) 管理ファイルを生成する電子機器、３次元画像データを生成する電子機器、管理ファイル生成方法、３次元画像データ生成方法および管理ファイルのファイル構造
EP2685730A1 (en) Playback device, playback method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121116

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131204

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee