TWI486054B - A portrait processing device, a three-dimensional image display device, a method and a program - Google Patents

A portrait processing device, a three-dimensional image display device, a method and a program Download PDF

Info

Publication number
TWI486054B
TWI486054B TW101101120A TW101101120A TWI486054B TW I486054 B TWI486054 B TW I486054B TW 101101120 A TW101101120 A TW 101101120A TW 101101120 A TW101101120 A TW 101101120A TW I486054 B TWI486054 B TW I486054B
Authority
TW
Taiwan
Prior art keywords
image
viewer
information
presentation
unit
Prior art date
Application number
TW101101120A
Other languages
English (en)
Other versions
TW201249174A (en
Inventor
Kenichi Shimoyama
Takeshi Mita
Masahiro Baba
Ryusuke Hirai
Yoshiyuki Kokojima
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201249174A publication Critical patent/TW201249174A/zh
Application granted granted Critical
Publication of TWI486054B publication Critical patent/TWI486054B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Description

畫像處理裝置、立體畫像顯示裝置、方法及程式
實施形態，係有關於畫像處理裝置、立體畫像顯示裝置、方法及程式。
在立體畫像顯示裝置中，視聽者係能夠並不使用特殊眼鏡地而以裸眼來觀察立體畫像。此種立體畫像顯示裝置，係顯示視點互為相異之複數的畫像，並將此些之光線，經由例如視差屏障、凸透鏡等之分光元件來作分離。被作了分離之光線，係被導引至視聽者之兩眼處，而，若是視聽者之觀察位置係為適當，則視聽者係能夠辨識出立體畫像。將此種視聽者能夠對於立體畫像作辨識之觀察位置的區域，稱作視域。
然而，係有著下述的問題． 亦即是，此種視域，係有所限定。亦即是，例如，係存在有所謂的逆視域，其係為左眼所感覺之畫像的視點相較於右眼所感覺之畫像的視點而相對性地成為右側，並成為無法正確地對於立體畫像作辨識之觀察位置。因此，在裸眼方式之立體畫像顯示裝置中，係有著視聽者難以觀察到良好之立體畫像的問題。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特許第3443271號公報
實施形態所欲解決之課題，係在於提供一種能夠使視聽者更為簡單地觀察到良好之立體畫像的畫像處理裝置、立體畫像顯示裝置、方法及程式。
實施形態之畫像處理裝置，係具備有觀測部和產生部。觀測部，係得到對於對可顯示立體畫像之顯示部進行視聽的一或複數之視聽者作了觀測的觀測畫像。產生部，係使用代表前述視聽者可對於前述立體畫像作觀察之視域的視域資訊，來產生提示畫像，該提示畫像，係將前述視域重疊於前述觀測畫像上，並因應於前述視聽者之位置，來使前述視域之顯示形態作動性變化。
(實施形態1)
實施形態1之畫像處理裝置100，係適合作為能夠讓視聽者以裸眼來對於立體畫像作觀察之TV或PC等。所謂立體畫像，係為包含有相互具備視差之複數的視差畫像之畫像。
畫像處理裝置100，係產生提示畫像並對於視聽者作提示，該提示畫像，係在對於一或複數之視聽者作了觀測的畫像(觀測畫像)上，將視聽者能夠對於立體畫像作立 體性觀察之實際空間上的區域(視域)作了重疊。藉由此，視聽者係能夠容易地辨識出視域。另外，在實施形態中所敘述之所謂畫像，係可為靜止畫或動畫之任一者。
圖1，係為代表畫像顯示裝置100之區塊圖。畫像處理裝置100，係可顯示立體畫像，並如圖1中所示一般，具備有觀測部110、和提示畫像產生部120、和顯示部130。
觀測部110，係對於視聽者作觀測，並產生代表在觀察區域中之視聽者的位置之觀測畫像。所謂觀察區域，係指能夠對於顯示部130之顯示面作觀察的區域。所謂在觀察區域中之視聽者的位置，例如，係可為相對於顯示部130之視聽者的位置。圖2，係為對於觀測畫像之其中一例作展示之圖。如圖2中所示一般，在觀測畫像中，係展現有在觀察區域中之視聽者的位置。觀測畫像，例如，係可為從顯示部130之位置所作了攝影之視聽者的攝影畫像。於此情況，觀測部110，係被設置在顯示部130之位置處。
在本實施形態中，作為觀測部110，除了可使用可視攝像機、紅外線攝像機等之外，亦可使用雷射或感測器等。但是，當在觀測部110處使用有感測器的情況時，由於係無法直接得到觀測畫像，因此，係以使用CG(Computer Graphics)或是動畫等來產生觀測畫像為理想。
提示畫像產生部120，係產生將視域資訊重疊在觀測畫像上之提示畫像。視域資訊，係為對於在實際空間中之 視域的分布作展示者。在本實施形態中，畫像處理裝置100，係將視域資訊預先記憶在記憶體(未圖示)等之記憶媒體中。
更具體而言，提示畫像產生部120，係根據身為代表視聽者之位置的位置資訊之人物位置和視域資訊，來產生將視聽者和視域間之相對位置關係重疊在觀測畫像上的提示畫像。於此，視聽者和視域間之相對位置關係，係為對於在觀測畫像上而視聽者是存在於視域內或者是視域外一事作展示者。於此，在本實施形態中，畫像處理裝置100，係將人物位置預先記憶在記憶體(未圖示)等之記憶媒體中。
另外，在本實施形態中，係將觀測畫像之左上角作為原點，並將x軸設定在橫方向上，將y軸設定在縱方向上。但是，座標之設定方法，係並不被限定於此。
又，在實際空間上，將顯示部130之顯示面的中心設為原點，並將X軸設定在水平橫方向上，將Y軸設定在鉛直方向上，將Z軸設定在顯示部130之顯示面的法線方向上。但是，實際空間上之座標之設定方法，係並不被限定於此。又，係依據上述之前提，而將第i個的視聽者之位置展示為Pi(Xi，Yi，Zi)。
於此，針對視域資訊之詳細內容作說明。圖3，係為對於視域資訊之其中一例作展示之模式圖。在圖3中，係對於從上方而俯瞰觀察區域的狀態作展示。在圖3中，白色之矩形範圍，係為視域內之範圍201。另一方面，畫有 網點之區域，係為視域外之範圍203，而會由於逆視或串訊(crosstalk)等之發生，導致難以得到良好之立體視。
在圖3之例中，由於視聽者P1係存在於視域201內，因此係能夠進行良好之立體視。又，視域201，只要能夠得知顯示部130(顯示器)和所顯示之畫像的組合，便能夠幾何性地求取出來。
提示畫像產生部120，係在圖2中所示之觀測畫像上，將圖3中所示之視域資訊作合成(亦即是重疊)，而產生提示畫像。圖4，係為對於根據圖2之觀測畫像和圖3之視域資訊所產生的提示畫像之其中一例作展示的模式圖。
在圖3之視域資訊中，視聽者P1係存在於座標P1(X1，Y1，Z1)處。在此視域資訊中，若是將在距離Z1處之視域的模樣重疊在觀測畫像上，則係成為如同圖4中所示之提示畫像一般。在此提示畫像中，係將視域201藉由空白之區域來展示，並對於視域以外之區域203而重疊橫線圖案，藉由此，視聽者係能夠對於自身和視域內以及視域外之間的相對位置關係作掌握。經由產生此種提示畫像，視聽者係能夠容易的理解到若是使自身朝向何者之方向移動則能夠進入至視域內一事，並成為能夠觀察到更加良好之立體畫像。
另外，在圖4之例中，雖係使從顯示部130起直到所重疊之視域資訊為止的距離、和從顯示部130起直到視聽者為止的距離，兩者相互一致，但是，兩者係亦可並非為 一致。例如，作重疊之視域資訊，係亦可為視域之橫寬幅會成為最廣之位置的視域資訊。
提示畫像產生部120，係根據視域資訊和觀測畫像之範圍，而如同下述一般地產生在距離Z1處之提示畫像。在圖3所示之視域資訊之例中，作為觀測部110，係使用攝像機，藉由符號204之2根的點線所劃定之範圍，係代表攝像機之攝角。經由在此攝像機攝角之邊界204所將代表Z=Z1之直線作切取的範圍內之視域的變化合成於觀測畫像上，來產生提示畫像。
另外，提示畫像產生部120，係亦可藉由把將視域資訊重疊在觀測畫像上之畫像作左右反轉，來產生提示畫像。亦即是，亦可將提示畫像變換為鏡面畫像(如同映照在鏡面上一般地而被辨識之畫像)。藉由此，視聽者由於係能夠對於包含有視域資訊之視聽者自身的鏡面畫像作觀察，因此，係能夠對於自己是否位在視域之範圍內一事作直觀性的辨識。
又，在圖4所示之提示畫像的例中，係藉由將視域外之範圍以橫線圖案來作展示，而對於視域內和視域外之關係作展示，但是，係並不被限定於此。例如，亦可對於視域外之區域，而重疊或顯示網點或斜線等之圖案，或者是以框線來作包圍，或者是重疊或顯示特定之顏色，或者是顯示黑色，或者是做模糊化顯示，或者是施加馬賽克處理，或者是作正負片反轉顯示，或者是以灰階來作顯示，亦或是以淺色來作顯示等，而可使用各種之手法。又，亦能 夠以將此些之手法作組合來顯示視域外之區域的方式，來構成提示畫像產生部120。
亦即是，只要是能夠讓視聽者對於視域內和視域外作區別的顯示形態，則係可使用任意之手法，且亦能夠以藉由上述之顯示形態來對於視域內之區域作顯示的方式，來產生提示畫像。
又，本實施形態之提示畫像產生部120，當存在有複數之視聽者的情況時，係根據複數之視聽者的各位置資訊和視域資訊，來對於視聽者之每一者而分別產生將視聽者和視域間之相對位置關係重疊在觀測畫像上的提示畫像。亦即是，提示畫像產生部120，係對於視聽者之每一者，而在觀測畫像上產生代表視聽者是存在於視域內或者是視域外一事之提示畫像。
圖5，係為對於存在有複數之視聽者的情況時之視域資訊的其中一例作展示之模式圖。在圖5之例中，係存在有2名視聽者，各視聽者之位置座標，係為視聽者P1(X1，Y1，Z1)、視聽者P2(X2，Y2，Z2)。在圖5之例中，視聽者P1係存在於視域內，視聽者P2係存在於視域外。於此種情況，若是使用距離Z1、Z2、Z3各別之視域來產生提示畫像，則係成為如同圖6(a)~圖6(c)中所示一般。圖6(a)，係為在距離Z1處的提示畫像之例，圖6(b)，係為在距離Z2處的提示畫像之例，圖6(c)，係為在距離Z3處的提示畫像之例。
於此，在圖6(a)所示之距離Z1處的提示畫像1中 ，視聽者P1和視聽者P2看來均係存在於視域內。但是，如同圖5中所示一般，在距離Z1處，實際上，視聽者P2係存在於視域外。此事係起因於在提示畫像之產生時所使用的視域之距離Z1為與視聽者2之距離有所乖離之故。
同樣的，在圖6(b)所示之距離Z2處的提示畫像2中，視聽者P1和視聽者P2看來均係存在於視域外，但是，實際上，係如同圖5中所示一般，在距離Z2處，視聽者P1係存在於視域內。進而，在圖6(c)所示之距離Z3處的提示畫像3中，視聽者P1看來係存在於視域外，而視聽者P2看來係存在於視域內，但是，實際上，係如同圖5中所示一般，在距離Z3處，實際上視聽者P1係存在於視域內，而視聽者P2係存在於視域外。
因此，本實施形態之提示畫像產生部120，當存在有複數之視聽者的情況時，係使用在各視聽者之Z軸方向之距離(Z座標位置)的近旁處之視域資訊，來產生一或者是複數之提示畫像，並藉由此來使實際之視聽者的在視域內外處之位置和在提示畫像上之位置相一致。
更具體而言，提示畫像產生部120，當存在有複數之視聽者的情況時，係根據各視聽者之人物位置，來對於Z座標位置作參照，並根據視域資訊之映像(map)，來求取出在各Z座標位置處之視域的範圍，亦即是求取出各Z座標位置處之視域的位置以及視域寬幅，再對於視聽者之每一者，而產生代表視域內外之存在位置的提示資訊。
作為此種提示資訊之產生手法，係可列舉出以下構成 。例如，提示畫像產生部120，係可如圖7中所示一般，將對於各視聽者或者是Z座標位置(Z軸方向之距離)所產生了的複數之提示畫像，於每一定時間而作時座標分割，並送出至顯示部130處而進行顯示。
於此情況，較理想，係以對於某一時刻之提示畫像係為對應於何者之視聽者一事作通知的方式，來構成提示畫像產生部120。例如，係可採用． 對於成為現在作顯示之提示畫像的對象之視聽者，附加特定之顏色或記號，或者是對於並非為現在作顯示之提示畫像的對象之視聽者，附加特定之顏色或者是以黑色來塗黑等的顯示形態。
又，亦可列舉出：如圖8中所示一般，使提示畫像產生部120，產生在各視聽者之近旁而將所對應之視聽者的距離處之視域作了重疊之提示畫像的手法。
又，亦可採用如圖9中所示一般，使提示畫像產生部120，產生將各視聽者之近旁切出並作了擴大的提示畫像之手法。作為其他例子，亦可採用：使提示畫像產生部120，根據各視聽者之位置，而計算出成為對象之視聽者係正對於第幾個視差畫像之光線作視認，並在該視差畫像中，展示該視聽者所使用之提示畫像的手法。
又，提示畫像產生部120，係亦可構成為將其他之視域資訊重疊在提示畫像上。例如，係能夠以將在實際空間中而第幾個的視差畫像為作何種形態之分布一事重疊於提示畫像上的方式，來構成提示畫像產生部120。
回到圖1，顯示部130，係為將藉由提示畫像產生部 120所產生了的提示畫像，對於視聽者而進行顯示之顯示裝置，例如，係為顯示器等。關於由顯示部130所進行之顯示手法，係可列舉出各種形態，但是，例如，係能夠採用在顯示器之全面或者是一部分處而進行顯示之手法，或者是使用專門用以顯示提示畫像之專用顯示裝置。
當將顯示部130構成為除了提示畫像之外亦可顯示立體畫像的情況時，顯示部130，係該當於顯示器以及作為光線控制元件之凸透鏡等。又，亦可將顯示部130設置於遙控器等之操作裝置處，並將後述之提示畫像和立體畫像分開地做顯示。又，亦可將顯示部130，作為視聽者之行動終端等之顯示部來構成，並將提示畫像送訊至行動終端處而作顯示。
接著，使用圖10之流程圖，對於由如同上述一般所構成之本實施形態之畫像處理裝置100所進行的提示畫像之產生處理作說明。
首先，觀測部110，係對於視聽者進行觀測並取得觀測畫像(步驟S11)。接著，提示畫像產生部120，係取得已被記憶在記憶體(未圖示)等之中的視域資訊、以及身為視聽者之位置座標的人物位置(步驟S12)。
接著，提示畫像產生部120，係在視域資訊中將人物位置作映射(步驟S13)，並對於視聽者之數量以及各視聽者之在視域資訊上的位置作掌握。
提示畫像產生部120，係根據視域資訊，來計算出在人物位置之Z座標位置(Z軸方向上之距離)處的視域之 位置以及視域寬幅(步驟S14)。之後，提示畫像產生部120，係將在人物位置之Z座標位置處的攝像機攝角的大小，決定為提示畫像之畫像尺寸(步驟S15)。
接著，提示畫像產生部120，係根據在人物位置之Z座標位置處的視域之位置以及視域寬幅，來將代表視聽者係位於視域內或者是視域外之資訊，重疊在觀測畫像上，而產生提示畫像(步驟S16)。之後，提示畫像產生部120，係將所產生了的提示畫像送出至顯示部130處，並使顯示部130顯示提示畫像(步驟S17)。例如，顯示部130，係亦可在其之顯示面的一部分之位置處而顯示提示畫像。又，亦可根據從未圖示之輸入裝置(遙控器裝置等)而來之訊號，而顯示提示畫像。於此情況，輸入裝置，若是具備有用以顯示提示畫像之按鍵等，則為理想。
此種從步驟S14起直到步驟S17為止之提示畫像的產生處理以及顯示處理，係反覆實行與藉由步驟S13所掌握到的視聽者之人數相同的次數。於此，複數之視聽者的提示畫像之產生、顯示，係藉由上述之圖7~9的顯示形態來進行。
如此這般，在本實施形態中，由於係在藉由對於視聽者作觀測所得到的觀測畫像上，將代表各視聽者係位於視域資訊中之視域內或者是視域外-事，對於視聽者之每一者而作了重疊，並將如此所得之提示畫像，對於視聽者作顯示，因此，複數之視聽者，係能夠各自容易地掌握到自己是存在於視域內或者是視域外，而成為能夠容易地觀察 到良好之立體畫像。
另外，在本實施形態中，提示畫像，係作為顯示在顯示部130處的形態來作了說明，但是，係並不被限定於此。例如，提示畫像，係亦可被顯示在能夠藉由有線或者是無線來與畫像處理裝置100作連接之未圖示的提示裝置(例如，行動終端或PC等)處。於此情況，提示畫像產生部120，係只要將所產生了的提示畫像送出至該提示裝置處，並使該提示裝置顯示提示畫像即可。
又，觀測部110，係以內藏於顯示部130中或者是被安裝於顯示部130處為理想，但是，亦可與顯示部130分開地作設置，並藉由有線或者是無線來與顯示部130作連接。
(實施形態2)
實施形態2，係為除了顯示在實施形態1中所說明了的提示畫像之外，亦更進而產生對於視聽者而展示用以使視聽者移動至視域內之推薦移動目標的提示資訊並作顯示者。
圖11，係為展示實施形態2之畫像顯示裝置1100的功能性構成之區塊圖。本實施形態之畫像處理裝置1100，係如圖11中所示一般，具備有觀測部110、和提示畫像產生部120、和提示資訊產生部1121、和推薦移動目標算出部1123、以及顯示部130。於此，觀測部110、提示畫像產生部120、顯示部130之功能、構成，係與實施形 態1相同。又，在本實施形態中，亦與實施形態1同樣的，畫像處理裝置1100，係將視聽者之人物位置以及視域資訊，預先記憶在記憶體(未圖示)等之記憶媒體中。
推薦移動目標資訊算出部1123，係根據視聽者之人物位置和視域資訊，來求取出身為朝向能夠良好地觀察立體畫像之位置的應推薦之移動目標的推薦移動目標。具體而言，推薦移動目標資訊算出部1123，較理想，係將現在之視聽者的人物位置，映射至視域資訊之映像(參考圖3)上，並當視聽者存在於視域外的情況時，將相對於最近之位置的視域之方向等，作為推薦移動目標而求取出來。如此這般地將相對於最近之位置的視域之方向作為推薦移動目標而求取出來的原因，係在於為了避免產生對於視聽者而言而為繁瑣的判斷之故。又，較理想，推薦移動目標算出部1123，係構成為：根據人物位置和視域資訊，來判斷出在視聽者之前方是否存在有其他的視聽者或者是遮蔽物，並當在視聽者之前方存在有其他視聽者或者是遮蔽物的情況時，成為並不將朝向該其他視聽者或者是遮蔽物所存在的位置之方向作為推薦移動目標而計算出來。
其結果，例如，推薦移動目標資訊算出部1123，係作為推薦移動目標，而能夠求取出視聽者所應該從現在的位置作移動之左方向或右方向或上方向亦或是下方向等。
提示資訊產生部1121，係產生包含有藉由推薦移動目標資訊算出部1123所計算出之推薦移動目標的資訊之提示資訊。於此，提示資訊產生部1121，除了將藉由提 示畫像產生部120所產生之提示資訊附加在提示畫像上或者是重疊於提示畫像上並產生之外，亦可將提示資訊與提示畫像分開地產生。
提示資訊產生部1121，係將如此這般所產生了的提示資訊，與實施形態1相同的而送出至顯示部130處，並藉由顯示部130來對於視聽者作顯示。於此，當提示資訊係與提示畫像分開地作產生的情況時，顯示部130，係亦可將提示資訊與提示畫像分開地作顯示，例如顯示於顯示器之一部分處。進而，亦可將顯示部130，構成為用以顯示提示資訊之專用的顯示裝置。
接著，關於使用有由提示資訊產生部1121所得之推薦移動目標的提示資訊之產生，係可列舉出下述一般的構成。
例如，提示資訊產生部1121，係如圖12(a)、圖13中所示一般，將推薦移動目標1201，藉由箭頭等之能夠得知移動方向的記號等，來產生提示資訊，並附加在提示畫像上。又，提示資訊產生部1121，係如圖12(b)中所示一般，藉由代表推薦移動目標1201之文字等，來產生提示資訊，並附加在提示畫像上。
作為其他例子，提示資訊產生部1121，係如圖14中所示一般，將專用之方向指示燈等附加在提示畫像上，並且將使移動目標之指示方向的燈作了點燈的畫像1201，作為提示資訊而產生之，並附加在提示畫像上。
又，作為其他例子，提示資訊產生部1121，係如圖 15(a)~圖15(c)中所示一般，作為推薦移動目標1201，而將隨著朝向移動目標而尺寸逐漸變大的人形之圖形，作為提示資訊而產生之。
又，作為其他例子，提示資訊產生部1121，係如圖16中所示一般，使用對於顯示部130和觀察區域以及視域作展示之俯瞰圖，並在此俯瞰圖中展示推薦移動目標1201之箭頭，而產生提示資訊。
進而，作為其他例子，提示資訊產生部1121，係如圖17中所示一般，在移動目標之位置處，將以在該位置處之顯示尺寸來展示視聽者之臉孔的畫像1201作為推薦移動目標，而產生提示資訊。於此情況，係成為以讓視聽者藉由使該臉孔之畫像的尺寸和位置相互一致的方式來移動，而展示推薦移動目標。
另外，除了將推薦移動目標在顯示部130處作為提示資訊來作顯示之外，亦可構成為藉由聲音輸出等來對於視聽者作通知。
接著，使用圖18之流程圖，對於由如同上述一般所構成之本實施形態之畫像處理裝置1100所進行的提示資訊之產生處理作說明。關於從步驟S11起直到S16為止的提示畫像之產生處理，係與實施形態1相同的而進行。
若是產生了提示畫像，則推薦移動目標算出部1123，係藉由上述之手法，來根據視域資訊和視聽者之人物位置而計算出推薦移動目標(步驟S37)。之後，提示資訊產生部1121，係產生展示推薦移動目標之提示資訊(步 驟S38)。關於提示資訊之產生，係藉由使用上述之圖12(a)~圖17所說明了的手法來進行。之後，提示畫像產生部120，係將所產生了的提示畫像送出至顯示部130處，提示資訊產生部1121，係將所產生了的提示資訊送出至顯示部130處，顯示部130，係顯示提示畫像和提示資訊(步驟S39)。
從步驟S14起直到S39為止之提示畫像以及提示資訊的產生處理以及顯示處理，係反覆實行與藉由步驟S13所掌握到的視聽者之人數相同的次數。
如此這般，在本實施形態中，除了顯示在實施形態1中所說明了的提示畫像之外，由於係更進而產生代表對於視聽者而用以使其移動至視域內之推薦移動目標的提示資訊並作顯示，因此，除了實施形態1之效果以外，亦成為能夠使複數之視聽者各自容易地對於自己之朝向視域內的移動目標作掌握，並能夠更為容易地觀察到良好之立體畫像。
(實施形態3)
在實施形態3中，係根據視域資訊和視聽者之人物位置，來對於是否進行提示資訊之顯示一事作判斷，並當判斷需進行提示資訊之顯示的情況時，進行提示資訊之產生、顯示。
圖19，係為展示實施形態3之畫像顯示裝置1900的功能性構成之區塊圖。本實施形態之畫像處理裝置1900 ，係如圖19中所示一般，具備有觀測部110、和提示畫像產生部120、和提示資訊產生部1121、和推薦移動目標算出部1123、和提示判定部1925、和顯示部130、和人物檢測、位置算出部1940、和視域決定部1950、以及顯示畫像產生部1960。於此，觀測部110、提示畫像產生部120、提示資訊產生部1121、推薦移動目標算出部1123、顯示部130之功能、構成，係與實施形態2相同。
人物檢測、位置算出部1940，係從藉由觀測部110所產生了的觀測畫像，來檢測出觀察區域內之視聽者，並計算出身為在實際空間中之視聽者的位置座標之人物位置座標。
更具體而言，當藉由攝像機來構成觀測部110的情況時，人物檢測、位置算出部1940，係對於藉由觀測部110所攝像了的觀測畫像進行畫像解析，並進行視聽者之檢測以及人物位置之算出。又，除此之外，當作為觀測部110而例如使用雷達的情況時，係只要將人物檢測、位置算出部1940，構成為對於從雷達所提供而來之訊號進行訊號處理並進行視聽者之檢測以及人物位置之算出即可。又，在人物檢測、位置算出部1940處所進行之視聽者的檢測中，係亦可設為將臉孔、頭部、人物全體、記號等之能夠將其係身為人一事判斷出來的任意之對象檢測出來。此種視聽者之檢測以及人物位置之算出，係藉由周知之手法來進行。
視域決定部1950，係根據藉由人物檢測、位置算出 部1940所計算出之視聽者的人物位置，來基於視聽者之人物位置而決定視域。視域決定部1950，較理想，係以能夠盡可能地將更多之視聽者納入視域內的方式，來設定視域之決定方法。又，視域決定部1950，係亦能夠以必定會將特定之視聽者納入至視域內的方式，來對於視域作設定。
顯示畫像產生部1960，係產生與藉由視域決定部1950所決定了的視域相配合之顯示畫像。
於此，針對視域之控制作說明。圖20，係為用以對於視域之控制作說明之圖。圖20(a)，係對於作為顯示部130之顯示器和其之視域間的基本關係作展示。
又，圖20(b)，係針對由於將顯示畫像之像素和凸透鏡等之開口部的空隙縮小一事而導致視域向前作了移動的狀態作展示。相對於此，若是將顯示畫像之像素和凸透鏡等之開口部的空隙增大，則視域會朝向後方移動。
圖20(c)，係針對由於使顯示畫像朝向右方作橫移而使視域朝向左方向作移動之狀態作展示。相對於此，當使顯示畫像朝向左方作了橫移的情況時，視域係朝向右方向移動。經由此種簡易的處理，係能夠對於視域作控制。
故而，顯示畫像產生部1960，係能夠產生與所決定了的視域相配合之顯示畫像。
提示判定部1925，係根據視聽者之人物位置和視域資訊，來判定是否應產生提示資訊。提示資訊，主要係發揮對於使並不存在於視域內之視聽者移動至視域內一事作 輔助之功能。作為其中一例，提示判定部1925，作為判斷為不需產生提示資訊的基準，係可列舉出下述情形。
例如，當所有的視聽者之人物位置均存在於視域內的情況時，或者是當特定之視聽者的人物位置係存在於視域內的情況時，或是在顯示部130處係正顯示有2維畫像的情況時、亦或是視聽者係將提示資訊指定為不顯示的情況時等，提示判定部1925，係判斷並不需產生提示資訊。
於此，所謂特定之視聽者，係指例如預先作了登記之視聽者、或者是正持有遙控器之視聽者等的具有與其他視聽者相異之性質的視聽者。
提示判定部1925，係為了進行此些判斷，而藉由周知之畫像辨識處理或者是使用有從感測器等而來之檢測訊號等的處理，來進行視聽者之辨別或者是遙控器之檢測等。又，由視聽者所進行之提示資訊之不顯示的指示，係藉由遙控器或者是按鍵等之輸入操作來進行，提示判定部1925，係構成為藉由將此種操作輸入之事件等檢測出來而判斷出係存在有由視聽者所進行的提示資訊之不顯示的指示。
又，作為其中一例，提示判定部1925，作為判斷為需產生提示資訊的基準，係可列舉出下述情形。
例如，當特定之視聽者的人物位置並不存在於視域內的情況時，或者是開始了立體畫像之觀察的情況時，或是視聽者作了移動的情況時，或者是視聽者之人數有所增減的情況時，亦或是視聽者對於提示資訊之顯示作了指示的 情況等時，提示判定部1925係判斷需產生提示資訊。
此係因為，由於在立體畫像之觀察開始時，特別是視聽者之進行立體視的狀況係為不明確，因此，係以將提示資訊作提示為較理想之故。又，當視聽者作了移動的情況時，由於作了移動的視聽者自身之立體視狀況係有所改變，因此，係以將提示資訊作提示為較理想之故。進而，當視聽者作了增減的情況時，由於特別是新加入的視聽者對於自身之立體視狀況係並不明瞭，因此，係以將提示資訊作提示為較理想之故。
提示資訊產生部1121，當藉由提示判定部1925而判定出應產生提示資訊的情況時，係產生提示資訊。
接著，使用圖21之流程圖，對於由如同上述一般所構成之本實施形態之畫像處理裝置1900所進行的提示畫像之產生處理作說明。關於從步驟S11起直到S16為止的提示畫像之產生處理，係與實施形態1相同的而進行。
首先，觀測部110，係對於視聽者進行觀測並取得觀測畫像(步驟S11)。接著，視域決定部1950係進行視域資訊之決定，人物檢測、位置算出部1940，係檢測出視聽者並決定人物位置(步驟S51)。
接著，提示畫像產生部120，係在視域資訊中將人物位置作映射(步驟S13)，並對於視聽者之數量以及各視聽者之在視域資訊上的位置作掌握。
接著，提示判定部1925，係根據視域資訊和人物位置，來藉由上述之判定手法，而對於提示資訊之提示的可 否作判定(步驟S53)。而後，當判定並不將提示資訊作提示的情況時(步驟S53：不提示)，係並不進行提示資訊以及提示畫像之產生、顯示，而結束處理。另外，於此情況，係亦可構成為進行提示畫像之產生以及顯示。
另一方面，在步驟S53中，當判定需將提示資訊作提示的情況時(步驟S53：提示)，則係前進至步驟S14，並與實施形態2相同的，進行提示畫像以及提示資訊之產生、顯示(步驟S14~S39)。
如此這般，在本實施形態中，由於係根據視域資訊、視聽者之人物位置，來對於是否進行提示資訊之顯示一事作判斷，並當判斷需進行提示資訊之顯示的情況時，進行提示資訊之產生、顯示，因此，除了能夠得到與實施形態2相同的效果之外，對於視聽者而言亦成為更為便利，並且，根據視聽者之位置或觀察狀態，亦成為能夠能為容易地觀察到良好之立體畫像。
若依據實施形態1~3，則視聽者係能夠容易地辨識出現在的觀察位置是否為位於視域內。藉由此，視聽者係能夠更為簡單地觀察到良好之立體畫像。
另外，在實施形態1~3之畫像處理裝置100、1100、1900處所實行的畫像處理程式，係預先被組入至ROM等之中而作提供。
在實施形態1~3之畫像處理裝置100、1100、1900處所實行之畫像處理程式，係亦可構成為：以能夠進行安裝之形式或者是能夠實行之形式的檔案來記錄至CD-ROM 、軟碟(FD)、CD-R、DVD(Digital Versatile Disk)等之電腦可讀取的記錄媒體中並作提供。
進而，在實施形態1~3之畫像處理裝置100、1100、1900處所實行的畫像處理程式，係亦可構成為．儲存在被與網際網路等之網路作了連接的電腦上，並經由網路來作下載而作提供。又，在實施形態1~3之畫像處理裝置100、1100、1900處所實行的畫像處理程式，係亦可構成為：經由網際網路等之網路來作提供或者是配送。
在實施形態1~3之畫像處理裝置100、1100、1900處所實行之畫像處理程式，係成為包含有上述之各部(觀測部、提示畫像產生部、提示資訊產生部、推薦移動目標算出部、提示判定部、顯示部、人物檢測、位置算出部、視域決定部、顯示畫像產生部)的功能之模組構成，作為實際之硬體構成，係成為藉由使CPU(處理器)從上述ROM來讀出畫像處理程式並實行，來使上述各部之功能被裝載至主記憶裝置處，並在主記憶裝置上產生觀測部、提示畫像產生部、提示資訊產生部、推薦移動目標算出部、提示判定部、顯示部、人物檢測、位置算出部、視域決定部、顯示畫像產生部。
雖係對於本發明之數種的實施形態作了說明，但是，此些之實施形態，係僅為例示，而並非用以對於本發明之範圍作限定者。此些之新穎的實施形態，係可藉由其他之各種的實施形態來實施，在不脫離發明之要旨的範圍內，係可進行各種之省略、置換、變更。此些之實施形態或其 之變形，係亦被包含於發明之範圍或要旨內，並且亦被包含於申請專利範圍中所記載之發明及其均等範圍中。
100、1100、1900‧‧‧畫像處理裝置
110‧‧‧觀測部
120‧‧‧提示畫像產生部
130‧‧‧顯示部
201‧‧‧視域內之區域
203‧‧‧視域外之區域
1121‧‧‧提示資訊產生部
1123‧‧‧推薦移動目標算出部
1201‧‧‧推薦移動目標之資訊
1925‧‧‧提示判定部
1940‧‧‧人物檢測、位置算出部
1950‧‧‧視域決定部
1960‧‧‧顯示畫像產生部
[圖1]實施形態1之畫像處理裝置之圖。
[圖2]實施形態1之觀測畫像的其中一例之圖。
[圖3]實施形態1之視域資訊的其中一例之圖。
[圖4]實施形態1之提示畫像的其中一例之圖。
[圖5]實施形態1之當存在有複數的視聽者時之視域資訊的其中一例之圖。
[圖6]實施形態1之提示畫像之例之圖。
[圖7]實施形態1之提示畫像的變遷例之圖。
[圖8]實施形態1之提示畫像之例之圖。
[圖9]實施形態1之提示畫像之例之圖。
[圖10]實施形態1之提示畫像產生處理之流程圖。
[圖11]實施形態2之畫像處理裝置之圖。
[圖12]實施形態2之提示畫像和提示資訊之例之圖。
[圖13]實施形態2之提示畫像和提示資訊之例之圖。
[圖14]實施形態2之提示畫像和提示資訊之例之圖。
[圖15]實施形態2之提示資訊之例之圖。
[圖16]實施形態2之提示資訊之例之圖。
[圖17]實施形態2之提示資訊之例之圖。
[圖18]實施形態2之提示資訊產生處理之流程圖。
[圖19]實施形態3之畫像處理裝置之圖。
[圖20]實施形態3之視域的控制之圖。
[圖21]實施形態3之提示資訊產生處理之流程圖。
100‧‧‧畫像處理裝置
110‧‧‧觀測部
120‧‧‧提示畫像產生部
130‧‧‧顯示部

Claims (12)

  1. 一種畫像處理裝置，其特徵為，具備有：觀測部，係得到對於視聽可顯示立體畫像之顯示部的一或複數之視聽者作了觀測的觀測畫像，和產生部，係使用代表前述視聽者可對於前述立體畫像作觀察之視域的視域資訊，來產生提示畫像，其中，該提示畫像，係將前述視域重疊於前述觀測畫像上，並因應於前述視聽者之位置，來使前述視域之顯示形態作動性變化。
  2. 如申請專利範圍第1項所記載之畫像處理裝置，其中，前述觀測部，係為獲得前述視聽者之位置資訊者，前述產生部，係根據前述視聽者之位置資訊和前述視域資訊，來產生前述提示畫像。
  3. 如申請專利範圍第2項所記載之畫像處理裝置，其中，前述產生部，當存在有複數之視聽者的情況時，係將與所選擇了的一或複數之前述視聽者相對應的前述視域，重疊於前述觀測畫像上，而產生前述提示畫像。
  4. 如申請專利範圍第1~3項中之任一項所記載之畫像處理裝置，其中，前述觀測畫像，係為從前述顯示部之位置而對於前述視聽者作了攝影之畫像，前述產生部，係將與前述觀測畫像之攝影面相對應的前述視域，重疊於前述觀測畫像上，而產生前述提示畫像。
  5. 如申請專利範圍第1項所記載之畫像處理裝置，其中，係更進而具備有． 算出部，係根據前述視聽者之位置資訊和前述視域資訊，而求取出身為應對於前述視聽者作推薦的進行相對於立體畫像之觀察的移動目標之推薦移動目標，和提示資訊產生部，係產生身為代表前述推薦移動目標之資訊的提示資訊。
  6. 如申請專利範圍第5項所記載之畫像處理裝置，其中，前述算出部，係作為前述推薦移動目標，而求取出應使前述視聽者從現在之位置而朝向左右之何一方向作移動。
  7. 如申請專利範圍第5項所記載之畫像處理裝置，其中，前述算出部，係作為前述推薦移動目標，而求取出應使前述視聽者從現在之位置而朝向前後之何一方向作移動。
  8. 如申請專利範圍第5項所記載之畫像處理裝置，其中，係更進而具備有． 提示判定部，係根據前述視聽者之位置資訊和前述視域資訊，來判定是否應產生前述提示資訊，前述提示資訊產生部，當被判定為應產生前述提示資訊的情況時，係產生前述提示資訊。
  9. 一種畫像處理方法，其特徵為．得到對於視聽可顯示立體畫像之顯示部的一或複數之視聽者作了觀測的觀測畫像； 使用代表前述視聽者可對於前述立體畫像作觀察之視域的視域資訊，來產生提示畫像，其中，該提示畫像，係將前述視域重疊於前述觀測畫像上，並因應於前述視聽者之位置，來使前述視域之顯示形態作動性變化。
  10. 一種畫像處理程式，其特徵為，係使電腦發揮作為下述手段之功能：得到對於視聽可顯示立體畫像之顯示部的一或複數之視聽者作了觀測的觀測畫像之手段；使用代表前述視聽者可對於前述立體畫像作觀察之視域的視域資訊，來產生提示畫像之手段，其中，該提示畫像，係將前述視域重疊於前述觀測畫像上，並因應於前述視聽者之位置，來使前述視域之顯示形態作動性變化。
  11. 如申請專利範圍第1項所記載之畫像處理裝置，其中，前述產生部，係產生以格子形狀來表現前述視域或者是前述視域外之區域，並因應於與前述顯示部間之前述視聽者的距離，來使前述格子形狀之位置或形狀改變的前述提示畫像。
  12. 一種立體畫像顯示裝置，其特徵為，具備有：觀測部，係得到對於一或複數之視聽者作了觀測的觀測畫像，和產生部，係使用代表前述視聽者可對於前述立體畫像作觀察之視域的視域資訊，來產生提示畫像，其中，該提示畫像，係將前述視域重疊於前述觀測畫像上，並因應於前述視聽者之位置，來使前述視域之顯示形態作動性變化。
TW101101120A 2011-03-28 2012-01-11 A portrait processing device, a three-dimensional image display device, a method and a program TWI486054B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/057546 WO2012131862A1 (ja) 2011-03-28 2011-03-28 画像処理装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
TW201249174A TW201249174A (en) 2012-12-01
TWI486054B true TWI486054B (zh) 2015-05-21

Family

ID=46929701

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101101120A TWI486054B (zh) 2011-03-28 2012-01-11 A portrait processing device, a three-dimensional image display device, a method and a program

Country Status (4)

Country Link
US (1) US20140049540A1 (zh)
JP (1) JPWO2012131862A1 (zh)
TW (1) TWI486054B (zh)
WO (1) WO2012131862A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150044732A (ko) * 2013-10-17 2015-04-27 엘지전자 주식회사 무안경 방식의 입체 영상 표시장치, 및 그 동작방법
CN104702939B (zh) 2015-03-17 2017-09-15 京东方科技集团股份有限公司 图像处理系统、方法、确定位置的方法及显示系统
CN104850383B (zh) * 2015-05-27 2018-06-01 联想(北京)有限公司 一种信息处理方法和电子设备
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009250987A (ja) * 2008-04-01 2009-10-29 Casio Hitachi Mobile Communications Co Ltd 画像表示装置およびプログラム
JP2010273013A (ja) * 2009-05-20 2010-12-02 Sony Corp 立体表示装置および方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096639B2 (ja) * 1996-07-22 2000-10-10 三洋電機株式会社 立体映像表示装置
US6535241B1 (en) * 1996-11-13 2003-03-18 Fakespace Labs, Inc. Multi-person stereo display system
JPH10174127A (ja) * 1996-12-13 1998-06-26 Sanyo Electric Co Ltd 立体表示方法および立体表示装置
JP3469884B2 (ja) * 2001-03-29 2003-11-25 三洋電機株式会社 立体映像表示装置
US6927696B2 (en) * 2003-05-30 2005-08-09 Ann D. Wasson Coley Viewing distance safety system
US20060139447A1 (en) * 2004-12-23 2006-06-29 Unkrich Mark A Eye detection system and method for control of a three-dimensional display
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
JP5525757B2 (ja) * 2009-05-18 2014-06-18 オリンパス株式会社 画像処理装置、電子機器、及びプログラム
CN102804786A (zh) * 2009-06-16 2012-11-28 Lg电子株式会社 观看范围通知方法以及用于实现该方法的电视接收器
JP2012010085A (ja) * 2010-06-24 2012-01-12 Sony Corp 立体表示装置及び立体表示装置の制御方法
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009250987A (ja) * 2008-04-01 2009-10-29 Casio Hitachi Mobile Communications Co Ltd 画像表示装置およびプログラム
JP2010273013A (ja) * 2009-05-20 2010-12-02 Sony Corp 立体表示装置および方法

Also Published As

Publication number Publication date
US20140049540A1 (en) 2014-02-20
WO2012131862A1 (ja) 2012-10-04
TW201249174A (en) 2012-12-01
JPWO2012131862A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US9204126B2 (en) Three-dimensional image display device and three-dimensional image display method for displaying control menu in three-dimensional image
US20170213085A1 (en) See-through smart glasses and see-through method thereof
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
TWI657431B (zh) 動態顯示系統
US11865448B2 (en) Information processing apparatus and user guide presentation method
JP2007052304A (ja) 映像表示システム
TW201234838A (en) Stereoscopic display device and control method of stereoscopic display device
JP2009267729A (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
JP2009251141A (ja) 立体画像表示装置
US11244145B2 (en) Information processing apparatus, information processing method, and recording medium
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
US10389976B2 (en) Information processing apparatus, information processing system, and information processing method
TWI486054B (zh) A portrait processing device, a three-dimensional image display device, a method and a program
JP2022058753A (ja) 情報処理装置、情報処理方法及びプログラム
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
US11603043B2 (en) Image processing apparatus, image processing method, and image processing system
US11589001B2 (en) Information processing apparatus, information processing method, and program
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
JP6467039B2 (ja) 情報処理装置
WO2017163649A1 (ja) 画像処理装置
JP5522799B2 (ja) 視線位置推定システム及び視線位置推定プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees