TW201342306A - 影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置 - Google Patents

影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置 Download PDF

Info

Publication number
TW201342306A
TW201342306A TW101148359A TW101148359A TW201342306A TW 201342306 A TW201342306 A TW 201342306A TW 101148359 A TW101148359 A TW 101148359A TW 101148359 A TW101148359 A TW 101148359A TW 201342306 A TW201342306 A TW 201342306A
Authority
TW
Taiwan
Prior art keywords
image
cut
line
reference point
sight vector
Prior art date
Application number
TW101148359A
Other languages
English (en)
Other versions
TWI574224B (zh
Inventor
Takuya Yagi
Kyoji Yoshino
Koji Inagaki
Original Assignee
Dainippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dainippon Printing Co Ltd filed Critical Dainippon Printing Co Ltd
Publication of TW201342306A publication Critical patent/TW201342306A/zh
Application granted granted Critical
Publication of TWI574224B publication Critical patent/TWI574224B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877—Image rotation
    • H04N1/3878—Skew detection or correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

〔課題〕提供一種：以能夠確認障礙物等之狀況的方式，而根據藉由1台攝像機所攝像的失真影像來產生更加自然之影像的影像處理裝置等。〔解決手段〕取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像(S)，並設定用以從失真影像而切出一部分之切出區域(E)的切出基準點(P)，再根據切出基準點而設定切出區域，並將失真影像之攝影的視點作為基點，而設定與切出基準點相對應之視線向量(n)，再使切出區域從切出基準點而移動預定之距離，並藉由根據視線向量而從失真影像來轉換為平面正則(regular)影像(T’)之影像轉換，而對被作了移動之切出區域(E’)進行轉換。

Description

影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置
本發明，係有關於對使用廣角透鏡或全方位反射鏡所攝影了的影像進行影像處理之影像處理裝置、影像處理方法、影像處理裝置用程式產品、記錄媒體、及影像顯示裝置。
使用有廣角透鏡或全方位反射鏡之攝像機，對於車輛之駕駛者而言，係能夠對於障礙物或各種之狀況作確認，而被作使用。例如，在專利文獻1中，係揭示有一種車輛後方顯示裝置，其係在車輛後方之低位置處，具備有廣角透鏡之攝像機，並在高位置處，具備有狹角透鏡之攝像機，而車輛狀態檢測裝置，係根據車輛之狀態，來對於必要之影像作切換顯示。
〔先前技術文獻〕 〔專利文獻〕
[專利文獻1]日本特開2003-212041號公報
然而，在專利文獻1之技術中，當將藉由廣角透鏡之攝像機以及狹角透鏡之攝相機的兩台之攝像機所攝影的影像作為1枚之影像來作顯示時，係成為需要將2枚的影像 作合成或者是切換，特別是，係成為有必要進行將從廣角透鏡之攝像機而來的影像轉換成不會產生異樣感的影像之影像調整。進而，由於係需要2台攝像機，因此係會耗費成本。
因此，本發明，係為有鑑於上述之問題點而進行者，作為其課題之其中一例，係以提供一種以能夠確認障礙物等之狀況的方式，而根據藉由1台攝像機所攝像的失真影像來產生更加自然之影像的影像處理裝置等一事，作為目的。
為了解決上述之課題，請求項1中所記載之發明，其特徵為，具備有：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；和影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
又，請求項2中所記載之發明，係在請求項1所記載 之影像處理裝置中，具備有下述特徵：亦即是，係更進而具備有：假想球面設定手段，係設定以前述失真影像之中心作為中心的假想球面，前述視線向量設定手段，係設定視線向量，該視線向量，係從前述假想球面之中心起，而朝向與包含前述失真影像之平面相正交並通過前述切出基準點之直線、和前述假想球面之兩者所交叉之交點。
又，請求項3中所記載之發明，係在請求項1或請求項2所記載之影像處理裝置中，具備有下述特徵：亦即是，前述視線向量設定手段，係接收對於前述視線向量作特定之參數的輸入，並設定前述視線向量，前述切出區域設定手段，係在於前述視線向量之方向上而交叉的交點處而與前述視線向量相正交之面內，設定與前述切出區域相對應之前述平面正則影像的區域，前述偏位手段，係在與前述視線向量相正交之面內，而使前述所設定了的平面正則影像之區域作移動，前述影像轉換手段，係根據前述視線向量，求出與前述被作了移動的平面正則影像之區域的各點相對應之前述失真影像的像素值，並將該求出之前述失真影像的像素值，作為前述平面正則影像之像素值。
又，請求項4中所記載之發明，係在請求項3所記載之影像處理裝置中，具備有下述特徵：亦即是，前述與視線向量相正交之面，係為圓柱之面。
又，請求項5中所記載之發明，係在請求項1~4之任一項所記載之影像處理裝置中，具備有下述特徵：亦即是，前述視線向量設定手段，係設定複數之視線向量，前 述切出區域設定手段，係設定與各視線向量相對應之切出區域，前述影像轉換手段，係將前述各切出區域轉換為平面正則影像，將前述影像轉換手段所求出之各平面正則影像，顯示在1個的顯示手段中。
又，請求項6中所記載之發明，係為使影像處理裝置對於影像進行處理之影像處理方法，其特徵為，包含有：失真影像取得步驟，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定步驟，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定步驟，係根據前述切出基準點而設定切出區域；和視線向量設定步驟，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位步驟，係使前述切出區域從前述切出基準點而移動預定之距離；和影像轉換步驟，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
又，請求項7中所記載之發明，其特徵為，係使電腦作為下述之各手段而起作用：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失真影像之攝影的視點作為基 點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；以及影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
又，請求項8中所記載之發明，係將能夠使電腦作為下述之各手段而起作用之影像處理裝置用程式，以可藉由電腦來讀取的方式而作了記錄：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；以及影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
又，請求項9中所記載之發明，其特徵為，具備有：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失 真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；和影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換；和顯示手段，係顯示藉由前述影像轉換手段所得到的平面正則影像。
若依據本發明，則係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像，並設定用以從失真影像而切出一部分之切出區域的切出基準點，再根據切出基準點而設定切出區域，並將失真影像之攝影的視點作為基點，而設定與切出基準點相對應之視線向量，再使切出區域從切出基準點而移動預定之距離，並藉由根據視線向量而從失真影像來轉換為平面正則影像之影像轉換，而對被作了移動之切出區域進行轉換，藉由此，係能夠基於藉由1台的攝像機所攝影了的失真影像，來產生更加自然之影像。
以下，參考圖面，對本發明之實施形態作說明。另外，以下所說明之實施形態，係為對於影像顯示系統而將本發明作了適用的情況時之實施形態。
〔1.影像顯示系統之構成以及功能的概要〕 (1.1影像顯示系統1之構成以及功能)
首先，使用圖1，針對本發明之其中一種實施形態的影像顯示系統之構成以及概要功能作說明。
圖1，係為對於本實施形態之影像顯示系統1的概要構成例作展示之區塊圖。
如圖1中所示一般，影像顯示系統1(影像顯示裝置之其中一例)，係具備有：具有廣角透鏡或全方位反射鏡之攝像機2、和對於藉由攝像機2所攝影的影像進行影像處理之影像處理裝置10、和將在影像處理裝置10之處理中所必要的參數作輸入之參數輸入部3、和具備有在影像處理裝置10之演算中所需要的記憶體之圖框記憶體4、以及將由影像處理裝置10所得之影像作顯示的顯示用監視器5。
攝像機2，例如，係為正射影方式之魚眼透鏡，並輸出動畫之失真圓形影像(失真影像之其中一例)。又，攝像機2，係在車輛的後方等處，而以預定之朝向來作設置，並對於能夠消除駕駛者之死角的廣範圍之影像作掌握。另外，攝像機2之透鏡，係並不被限定於廣角透鏡，亦可為與全方位反射鏡作了組合的通常之像角的透鏡。又，廣角透鏡之像角，係並不被限定於180°，亦可為較180°更小，也可為更小。又，攝像機2所攝影之影像，係亦可為靜止像。又，攝像機2，當具備有對角線魚眼透鏡 的情況時，係輸出矩形之失真影像。攝像機2，係亦可為等距離射影方式之透鏡或者是等立體角射影方式之透鏡等的非正射影方式之透鏡。
參數輸入部3，係接收在從失真圓形影像而轉換成平面正則影像之影像轉換中所必要的參數之輸入。例如，參數輸入部3，係基於使用者之指示輸入，而接收像是以失真圓形影像之攝影的視點作為基點之視線向量、和代表與從失真圓形影像所切出的切出區域相對應之平面正則影像的尺寸之參數、和用以設定所顯示之平面正則影像之倍率等所必要之參數。於此，所謂平面正則影像，係為為了減輕失真影像之失真而依循某一規則來作了座標轉換的平面正則影像。
圖框記憶體4，作為記憶手段之其中一例，記憶部係藉由RAM(Random Access Memory)、硬碟或者是矽碟片(silicon disc)等所構成。圖框記憶體4，係將藉由攝像機2所攝影的失真圓形影像、影像轉換之演算途中的影像資料、被作了影像轉換之平面正則影像等作記憶。
顯示用監視器5，係作為顯示手段的其中一例，而身為藉由液晶顯示元件或者是EL(Electro Luminescence)元件等所構成的監視器畫面(平面畫面)。顯示用監視器5，係將藉由攝像機2所攝影的失真圓形影像和藉由影像轉換所得到的平面正則影像等作顯示。
影像處理裝置10，係具備有算出修正係數以及對應座標之修正．演算部11，和將失真圓形影像轉換為平面正則 影像並產生用以顯示在顯示用監視器5處之平面正則影像的影像產生部12。
修正．演算部11，係藉由使用有專用之進行演算等的LSI(Large Scale Integration)晶片之硬體，而構成之。修正．演算部11，當從影像產生部12而被賦予有任意之座標的情況時，係實行使用有影像轉換之對應關係式的演算，而算出對應座標，或者是實行使用有使切出區域從與視線向量相對應之位置起而作了移動的情況時之影像轉換的對應關係式之演算，而算出對應座標。另外，關於影像轉換之對應關係式，係在影像轉換I以及影像轉換II中再作說明。
影像產生部12，係藉由使用有專用之進行演算等的LSI(Large Scale Integration)晶片之硬體，而構成之。影像產生部12，係進行從失真圓形影像而轉換為平面正則影像之影像轉換的演算、或將藉由影像轉換所產生了的平面正則影像記憶至圖框記憶體4中或是將其讀出。
(1.2影像轉換I)
接著，使用圖2，針對將藉由使用具備有魚眼透鏡之攝像機2的攝影所得到之失真圓形影像轉換為對於失真作了減輕的平面正則影像之影像轉換I的處理之基本原理作說明。
如圖2中所示一般，被形成在XY平面上之失真圓形影像S，係為構成以座標系之原點O作為中心的半徑R之 圓的影像，並為將存在於在身為透鏡之光軸的Z軸之正的區域側而具備有180°之像角的區域中之影像作了失真記錄之失真影像。另外，圖2之模式，係為當藉由正射影方式之魚眼透鏡而作了攝影的情況時之模式。
於此，係從失真圓形影像S而切出一部分之區域(切出區域E)，並進行影像轉換，而得到平面正則影像T。因此，係如圖2中所示一般，作為用以決定從失真圓形影像S中而切出何者之區域的切出基準點之其中一例，係設定有切出中心點P(x0，y0)。另外，切出基準點，係並不被限定於中心。
接著，係設定將失真圓形影像S之中心(失真影像之攝影的視點之其中一例)作為中心的假想球面H。如圖2中所示一般，係設定有：通過在失真圓形影像S上所設定的切出中心點P(x0，y0)並且與Z軸(3維XYZ正交座標系之座標軸)相平行之直線、和假想球面H之兩者之交點Q(x0，y0，z0)。又，係設定有從失真圓形影像之中心起而朝向交點Q(x0，y0，z0)之視線向量(以失真影像之攝影的視點作為基點並與切出基準點相對應之視線向量的其中一例)。
接著，在交點Q(x0，y0，z0)處，係設定有與假想球面H相切之切平面(在視線向量之方向上而交叉之交點處而與視線向量相正交之面的其中一例)，並在此切平面上被設定有2維UV正交座標系。
之後，藉由倍率m來使2維UV正交座標系以與視線 向量n相正交的方式來作平行移動，而將平面正則影像T作為2維UV正交座標系上之影像而求出。2維UV正交座標系，係以使點G(xg，yg，zg)成為原點的方式而被作設定。藉由倍率m，假想球面之半徑係改變，平面正則影像T之面，係成為與使假想球面之半徑作了改變的假想球面相切之面(在視線向量之方向上而交叉之交點處而與視線向量相正交之面)。於此，倍率m，係為代表座標值(u，v)之縮尺和座標值(x，y)之縮尺間的關係者。故而，2點OG間之距離，係被設定為m．R。另外，身為參數之倍率m，係可從參數輸入部3來作輸入，亦可預先作設定。又，如圖2中所示一般，當倍率m為較1更大的情況時，平面正則影像T，係成為假想平面H之外側。當倍率為較1更小的情況時，平面正則影像T之在視線向量的方向上而交叉之點G，係成為假想平面H之內側。
點G(xg，yg，zg)之位置，係可根據方位角α和天頂角β而特定出來。進而，為了決定UV座標系，係將U軸和J軸(旋轉基準軸)所成之角度，定義為平面傾斜角。另外，從XY座標系之原點O而朝向UV座標系之原點G的方向之向量，係為視線向量n。又，身為參數之方位角α、天頂角β以及平面傾斜角，係可從參數輸入部3來作輸入，亦可預先作設定。
於此，用以將以在XY座標系上所定義之失真圓形影像S上的切出中心點P(x0，y0)作為中心的切出區域內之失真影像切出並作變形且在UV座標系上而得到平面正 則影像T之對應關係式，係於下述之式(1)~(9)作展示。
藉由基於此對應關係式所進行之轉換演算而得到的平面正則影像，雖然水平方向之失真係為小，但是垂直方向 之失真係為大。
(1.3影像轉換II)
接著，使用圖3以及圖4，針對將藉由使用具備有魚眼透鏡之攝像機2的攝影所得到之失真圓形影像轉換為對於失真作了減輕的平面正則影像之影像轉換II的處理之基本原理作說明。另外，影像轉換II，係為在日本特開2010-62790中所揭示之技術。
在圖2之模式中，UV座標系，係被設定在通過點G(xg，yg，zg)並與視線向量n相正交之平面上，相對於此，在如圖3中所示一般之模式中，係使被定義在此平面上之UV座標系沿著圓柱側面而作彎曲。
故而，在圖3之模式中，係成為得到在2維UV彎曲座標系(圓柱側面上之座標系)上而作了彎曲的平面正則影像C。
在圖3中以虛線作展示之平面正則影像T，係為與圖2之平面正則影像T相同者，平面正則影像C，係相當於使此平面正則影像T作了彎曲之影像，並成為沿著圓柱側面之曲面上的影像。
2維彎曲座標系，亦係為具備有U軸和Y軸之2維的座標系，平面正則影像C內之任意的1點，為以(u，v)之座標來作標示，在此點上，係與通常之平面上的2維座標系的情況相同。此2維彎曲座標系，係為將以點G作為原點並且被配置在與視線向量n相正交之平面上的2維 UV正交座標系，藉由使其沿著假想圓柱之側面而作彎曲，所設定的座標系。
故而，在影像轉換II中，係在被定義於圓柱側面上之2維UV彎曲座標系上求出平面正則影像C，並使用代表此平面正則影像C之像素配列資料，來在通常之監視器畫面(平面畫面)上進行像素顯示。
於此，針對代表2維UV正交座標系上之座標(u，v)和2維XY正交座標系上之座標(x，y)之間的對應關係之對應關係式作說明。
圖4，係為對於2維UV正交座標系(座標面係成為圖4中之T)、和藉由使其作彎曲所得到的2維UV彎曲座標系(座標面係成為圖4中之C)之兩者間的位置關係作展示之側面圖。
如圖4中所示一般，係存在有在2維UV正交座標系上之點T(u，v)和在2維UV彎曲座標系上之點C(u，v)，而粗線之線段D和線段A係為相同長度。雖然均為以座標(u，v)來作標示之點，但是，由於係為在相異之座標系中所設定之點，因此，在藉由XYZ3維正交座標系所表現之空間上的位置，係互為相異。若是以XYZ3維正交座標系來作考慮，則點T(u，v)，係成為點T(u，v，w)，相對於此，點C(u，v)之座標值，係成為C(u’，v，w’)。故而，u’、v’和u、v之間的關係，係可藉由式(10)~式(12)來作表現。
藉由將此式(10)~式(12)適用在式(1)~式(9)中，用以在UV座標系上得到平面正則影像C之對應關係式，係藉由下述之式(1’)以及(2’)來作表現。
如此這般，藉由代替式(1)以及式(2)中之變數u而使用式(11)中所展示之變數u’，並代替變數w而使用式(12)中所展示之變數w’，而代入至式(1’)、(2’)中，係算出在2維XY正交座標系中之對應座標(x，y)。
相對於影像轉換I，影像轉換II之左右輪廓近旁的失真係被大幅度的改善。在像是進行水平搖攝(攝影全景影 像)一般的情況時，亦能夠得到平滑之水平搖攝影像。故而，影像轉換II，係適於對位置在影像之右端或左端處的人物之細微的特徵作掌握。
(1.4平面正則影像之偏位)
接著，使用圖5以及圖6，針對並不改變視點向量n地來在2維UV正交座標系上顯示平面正則影像之偏位功能作說明。另外，為了方便，首先係使用影像轉換I之例，來針對偏位功能作說明。
如圖5中所示一般，從失真圓形影像S而指定切出區域E之切出中心點P(x0，y0)，並得到方位角α、天頂角β之值，再使用式(1)~式(9)中所示之對應關係式，來對於切出區域E進行影像轉換並得到平面正則影像T。另外，在圖5中，係針對對於以虛線所示之切出區域E進行影像轉換並得到以虛線所展示的平面正則影像T之模式作展示。
進而，如圖5中所示一般，並不改變切出中心點P(x0，y0)地而將視點向量n之方向設為一定，並且施加使開始影像轉換之點作移動的偏位，藉由此，而得到對於切出區域E’作了影像轉換的平面正則影像T’。另外，在圖5中，係亦針對對於以實線所示之切出區域E’進行影像轉換並得到以實線所展示的平面正則影像T’之模式作展示。
又，如圖5以及圖6中所示一般，在平面正則影像T 中，將點G(xg，yg，zg)設為原點，並將開始被包含在失真圓形影像S中的切出區域E之影像轉換的點，設為點Ts(us，vs)。對於此開始影像轉換之點Ts(us，vs)而在U軸方向和V軸方向上施加偏位，來改變開始影像轉換之點，藉由此，而得到平面正則影像T’。施加了偏位之平面正則影像T’的開始影像轉換之點，係成為點Ts’(us’，vs’)。又，平面正則影像T’，係為與視線向量n相垂直之平面。
當對於影像轉換I而適用了偏位功能的情況時，對應關係式，係成為如同式(13)以及式(14)中所示一般。
於此，係在2維UV座標上之開始影像轉換之點Ts(us，vs)處，分別施加有偏位值uos、vos。亦即是，係成為us’=us+uos以及vs’=vs+vos。
接著，針對對於影像轉換II而適用了偏位功能的情況時之對應關係式作展示。
當對於2維UV彎曲座標上之開始影像轉換之點分別施加有偏位值uos、vos的情況時，對應於式(10)~式(12)，係得到式(15)~式(17)。
而，對應關係式，係成為如同在式(18)以及式(19)中所示一般。
如此這般，藉由對於影像轉換I或者是影像轉換II適用偏位，係能夠藉由從開始影像轉換之點起而依序作掃描來使座標之值改變，而得到平面正則影像。
另外，在影像轉換I或者是影像轉換II中，當係身為藉由非正射影方式之魚眼透鏡所攝影之非正射影影像的情況時，係只要使用正射影影像上之座標和非正射影影像上之座標間的座標轉換式，而對於切出中心點P之座標作修正，再定義出通過修正後之點的與Z軸相平行之直線和前述假想球面其兩者間之交點Q，而將以前述原點O作為基 點並通過交點Q之向量，作為視線向量n即可。
又，當像角為較180°更小的情況時，假想球面H之半徑，係被設定為像角180°，並成為較失真圓形影像之半徑更大。當像角為較180°更大的情況時，假想球面H之半徑，由於係被設定為像角180°，因此，180°以上之像角的部份之失真圓形影像，係以朝向假想球面H之中心而作了折返的形態而被作設定。
〔2.影像顯示系統之動作〕
接著，使用圖7~圖17，針對本發明之其中一種實施形態的影像顯示系統之動作作說明。
如圖7中所示一般，影像處理裝置10，係取得失真圓形影像(步驟S1)。具體而言，影像處理裝置10之影像產生部12，係從攝像機2而取得攝像機2所攝影了的失真圓形影像S。之後，影像處理裝置10之影像產生部12，係將失真圓形影像S顯示在顯示用監視器5處。於此，攝像機2之朝向，係如圖8中所示一般，設為水平方向。假設攝像機2係攝影有在位於攝像機2之斜下方的長椅處而並排坐下有3個人的影像。另外，影像處理裝置10，係將失真圓形影像之半徑R，根據失真圓形影像S而求出，或者是從參數輸入部3而取得之。如此這般，影像處理裝置10，係作為取得藉由使用有廣角透鏡或全方位反射鏡的攝影所得到之失真影像的失真影像取得手段之其中一例而起作用。
接著，影像處理裝置10，係在失真圓形影像中設定切出區域之切出中心點(步驟S2)。具體而言，係由對於顯示用監視器5作觀察之使用者，來對於參數輸入部3輸入在失真圓形影像S中之切出區域的切出中心點之座標。之後，影像產生部12，係從參數輸入部3而取得切出區域之切出中心點的座標之資訊，並在失真圓形影像S中設定切出區域E之切出中心點。如此這般，影像處理裝置10，係作為設定用以從失真影像而將一部分之切出區域作切出的切出基準點之切出基準點設定手段的其中一例而起作用。
接著，影像處理裝置10，係設定將假想球面之中心作為基點並與切出中心點相對應之視點向量(步驟S3)。如圖5中所示一般，藉由設定切出中心點P(x0，y0)，方位角α以及天頂角β係被制定。方位角α以及天頂角β被作了制定一事，係代表視點向量之方向被作了設定。又，視點向量n被作了設定一事，係相當於將式(3)~式(8)之A~F作了設定，並使對應關係式(1)以及(2)被作了制定。另外，若是預先設為平面傾斜角=0，則式(3)~式(8)之A~F係被設定。又，視點向量n之長度，係亦可為OG間之距離m．R。又，平面傾斜角之值，係亦可設為能夠讓使用者藉由參數輸入部3來作指定。
圖5所示之情況中，切出中心點P(x0，y0)係被設定，方位角α、天頂角β係被制定，而視點向量n係被設 定。此視點向量n，係以假想球面S之中心O作為基點，並被設定為朝向交點之方向，該交點，係為從切出中心點P(x0，y0)起而與Z軸相平行地延伸之直線和假想球面H其兩者所交叉的交點(x0，y0，z0)。
圖8所示之情況中，切出區域E之切出中心點，係被設定於失真圓形影像S之中心O處，方位角α=0、天頂角β=0係被制定，而視點向量n係成為水平方向。
影像處理裝置10之影像產生部12，係根據被輸入至參數輸入部3中的切出中心點的座標值，而設定視點向量n之方向。亦即是，影像處理裝置10之影像產生部12，係根據被輸入至參數輸入部3中的切出中心點的座標值，而設定方位角α以及天頂角β。另外，亦可設為讓使用者將方位角α以及天頂角β之參數的值輸入至參數輸入部3中，並設定切出中心點。
如此這般，影像處理裝置10，係作為將失真影像之攝影的視點作為基點並設定與切出基準點相對應之視線向量的視線向量設定手段之其中一例而起作用。又，影像處理裝置10，係作為設定從假想球面之中心起而通過「與包含失真影像之平面相正交並且通過切出基準點之直線」和「假想球面」間所交叉的交點之視線向量的視線向量設定手段之其中一例而起作用。又，影像處理裝置10，係作為接收對於視線向量作特定之參數的輸入並對於視線向量作設定的視線向量設定手段之其中一例而起作用。
接著，影像處理裝置10，係根據視點向量，而設定與 切出區域相對應之平面正則影像的區域(步驟S4)。具體而言，使用者係操作參數輸入部3，並指定與切出區域E相對應之平面正則影像T的尺寸以及倍率m。之後，影像產生部12，係從參數輸入部3而取得所指定了的平面正則影像T之尺寸的資訊，並根據視點向量n，而設定在2維UV正交座標系中的平面正則影像T。此時，係亦設定在施加偏位之前的開始影像轉換之點Ts(us，vs)。另外，在圖8所示之情況中，係設定有與被輸出至顯示用監視器5處之平面正則影像20相對應了的平面正則影像T之尺寸。另外，在影像轉換II之2維UV彎曲座標系的情況時，平面正則影像T，係設為平面正則影像C(以下相同)。
如此這般，影像處理裝置10，係作為根據切出基準點而設定切出區域之切出區域設定手段的其中一例而起作用。又，影像處理裝置10，係作為於在視線向量之方向上而相交叉的交點處，而於與視線向量相正交之面內，設定與切出區域相對應之平面正則影像的區域之切出區域設定手段的其中一例，而起作用。
接著，影像處理裝置10，係取得平面正則影像之區域的偏位開始位置(步驟S5)。具體而言，使用者係操作參數輸入部3，並對於想要使平面正則影像T朝向何者之方向而作何種程度之距離的移動以進行偏位一事作指定。之後，影像產生部12，係從參數輸入部3而取得所指定的相關於偏位之資訊，並設定平面正則影像之區域的偏位開 始位置。更具體而言，影像產生部12，係對於施加了偏位之平面正則影像T’的開始影像轉換之點Ts’(us’，vs’)作設定。另外，影像產生部12，係透過參數輸入部3，而將要適用對應關係式(1)、(2)、對應關係式(1’)、(2’)、對應關係式(13)、(14)以及對應關係式(18)、(19)之何者的影像轉換式一事之資訊預先作取得。
如此這般，影像處理裝置10，係作為使前述切出區域從切出基準點而移動預定之距離的偏位手段之其中一例而起作用。又，影像處理裝置10，係作為在與視線向量相正交之面內而使所設定了的平面正則影像之區域作移動的偏位手段之其中一例而起作用。
接著，影像處理裝置10，係根據視線向量，而求出與平面正則影像之區域的各點相對應之失真圓形影像的像素值(步驟S6)。具體而言，影像處理裝置10之影像產生部12，係將與視線向量相對應之關於方位角α、天頂角β以及倍率m的資料，和失真圓形影像之半徑R的資料，以及平面傾斜角的資料，送訊至修正．演算部11處。修正．演算部11，係根據所受訊了的方位角α、天頂角β、平面傾斜角、倍率m、以及半徑R，而適用式(13)以及式(14)，來算出值A、B、C、D、E、F以及w，並作設定。進而，影像產生部12，係將要適用對應關係式(1)、(2)、對應關係式(1’)、(2’)、對應關係式(13)、(14)以及對應關係式(18)、(19)之何 者的轉換一事之資訊，送訊至修正．演算部11處。更進而，當使用偏位功能的情況時，影像處理裝置10之影像產生部12，係將相關於偏位開始位置(點Ts’(us’，vs’))之資料(偏位值uos’、vos’之資料)，送訊至修正．演算部11處。之後，係成為能夠根據平面正則影像T或者是平面正則影像T’之座標值，來根據對應關係式(1)、(2)、對應關係式(1’)、(2’)、對應關係式(13)、(14)以及對應關係式(18)、(19)，亦即是根據視線向量，來計算出失真圓形影像的像素值。
之後，影像產生部12，係從開始影像轉換之點Ts’(us’，vs’)起，而對平面正則影像T’一次一個像素地來對於平面正則影像之區域作掃描，並依序將該像素之座標的資料送訊至修正．演算部11處。修正．演算部11，係根據對應關係式(1)、(2)、對應關係式(1’)、(2’)、對應關係式(13)、(14)以及對應關係式(18)、(19)，而對於與平面正則影像T’相對應之失真圓形影像E’的像素值依序作演算。另外，在圖8中所示之情況，係為利用有對於影像轉換II而適用了偏位功能的情況時之對應關係式(18)、(19)之情形。另外，掃描之方向，係可為u方向，亦可為v方向。
接著，影像處理裝置10，係將所求出之失真圓形影像的像素值作為平面正則影像之像素值(步驟S7)。具體而言，影像處理裝置10之影像產生部12，係依序取得藉由修正．演算部11所演算出的失真圓形影像E’之像素 值。之後，影像產生部12，係根據所取得的像素值，而在平面正則影像T’之位置處描繪失真圓形影像E’之像素值，而產生平面正則影像。
如此這般，影像處理裝置10，係作為藉由根據視線向量而從失真影像來轉換為平面正則影像之影像轉換來將被作了移動的切出區域作轉換之影像轉換手段的其中一例而起作用。又，影像處理裝置10，係作為根據視線向量來求出與被作了移動的平面正則影像之區域的各點相對應之失真影像的像素值並將該求出之失真影像的像素值作為平面正則影像之像素值的影像轉換手段之其中一例而起作用。
如此這般，影像處理裝置10，係作為藉由設定影像轉換I以及影像轉換II之對應關係式來設定將失真影像之中心作為中心的假想球面之假想球面設定手段的其中一例而起作用。
接著，影像處理裝置10，係將平面正則影像作顯示(步驟S8)。具體而言，影像處理裝置10之影像產生部12，係將所產生了的平面正則影像送訊至顯示監視器5處，並在顯示監視器5處顯示平面正則影像。圖8之情況中，平面正則影像20係被顯示在顯示監視器5處。如圖8中所示一般，在平面正則影像20中，在平面正則影像20之端部處所攝影到的人物，在圖中亦係被攝影為略垂直之方向。
另外，如圖9中所示一般，若是將視線向量n之朝向設為向下俯視之狀態，則在平面正則影像21之端部處所 攝影到的人物或椅子，係朝向斜方向而傾倒地被作攝影。
當攝像機2攝影動畫的情況時，影像處理裝置10，係在各圖框影像中，反覆進行上述處理程序，而產生動畫之平面正則影像，並顯示在顯示監視器5處。
接著，使用圖10~圖18，針對攝像機2之設定的變形例以及平面正則影像之顯示的方法作說明。
首先，使用圖10~圖15，針對被設定有複數之切出基準點的例子作說明。
如圖10中所示一般，在本實施形態中，係在車體處，作為後方確認用攝像機，而將攝像機2以水平方向來作了安裝。
如圖11中所示一般，當在車體之後部處具備有魚眼攝像機的車輛進行倒車停車時，影像處理裝置10，係取得藉由攝像機2所攝影了的失真圓形影像之原影像(步驟S1)。
之後，為了將俯視影像等作顯示，影像處理裝置10，係如圖12中所示一般，相對於車體而在垂直方向上設定切出中心點(步驟S2)。如圖11中所示一般，對於失真圓形影像，而設定有切出中心點P1。
於此情況，係成為方位角α=0°以及天頂角β=90°，視點向量n係成為X軸之朝向(步驟S3)。之後，影像處理裝置10，係設定平面正則影像T’之尺寸(步驟S4)。
接著，如圖10中所示一般，當想要以不會顯示有車體之保險槓之部分的方式來對於影像之顯示位置作調整的 情況時，影像處理裝置10，係如圖12中所示一般，對於將視點向量n以相對於透鏡之光軸(Z軸)而固定於垂直方向的狀態下來從平面正則影像T而在Z軸方向上移動至平面正則影像T’之位置處的偏位量作設定(步驟S5)。之後，影像處理裝置10，係適用影像轉換I、亦即是適用對應關係式(式(13)以及(14))，來產生作為俯視影像之平面正則影像T’(步驟S6、S7)。
接著，如圖13中所示一般，影像處理裝置10，係將俯視影像26顯示在顯示用監視器5之影像25的下側處(步驟S8)。
接著，關於顯示用監視器5之影像25的全景影像27，影像處理裝置10，係如圖14中所示一般，相對於車體而在水平方向上設定切出中心點(步驟S2)。如圖11中所示一般，對於失真圓形影像，而設定有切出中心點P2。
於此情況，係成為方位角α=0°以及天頂角β=0°，視點向量n係成為Z軸之朝向(步驟S3)。之後，影像處理裝置10，係以全景影像用而設定平面正則影像T’之尺寸(步驟S4)。
接著，當想要藉由偏位功能來對於全景影像之影像顯示位置作調整的情況時，影像處理裝置10，係如圖15中所示一般，對於將視點向量n固定於透鏡之光軸的狀態下來從平面正則影像T而在2維UV座標系上例如於X軸方向上而移動至平面正則影像T’之位置處的偏位量作設定 (步驟S5)。之後，影像處理裝置10，係適用影像轉換II、亦即是適用對應關係式(式(18)以及(19))，來產生作為全景影像27之平面正則影像T’(步驟S6、S7)。
接著，如圖13中所示一般，影像處理裝置10，係將全景影像27顯示在顯示用監視器5之影像25的上側處(步驟S8)。
接著，使用圖16~圖18，針對被設定有複數之切出基準點的例子作說明。
圖16，係對於當在車體之前部具備有攝像機2之車輛於T字路口而作了停車時的俯瞰圖作展示。
如圖16中所示一般，作為車體之前方確認用攝像機，而將攝像機2以水平方向來作了安裝。
當在車體之前部處具備有攝像機2的車輛在T字路口而作了停車時，如圖17中所示一般，影像處理裝置10，係取得藉由攝像機2所攝影了的失真圓形影像之原影像。
接著，如圖18中所示一般，為了產生影像30之全景影像31，影像處理裝置10，係對於失真圓形影像而設定切出中心點P3，並設定全景影像31用之平面正則影像的尺寸。之後，影像處理裝置10，係朝向圖17中之箭頭的方向而進行偏位，並藉由影像轉換II，來產生全景影像31。另外，全景影像31，係為在圖17中將失真圓形影像之虛線包圍部分作影像轉換並作了全景顯示之影像。
接著，為了產生影像30之部分擴大影像32，影像處 理裝置10，係對於失真圓形影像而設定切出中心點P3，並設定部分擴大影像32用之平面正則影像的尺寸。之後，影像處理裝置10，係朝向圖17中之箭頭的方向而進行偏位，並藉由影像轉換I或者是影像轉換II，來產生部分擴大影像32。
接著，為了產生影像30之部分擴大影像33，影像處理裝置10，係對於失真圓形影像而設定切出中心點P4，並設定部分擴大影像33用之平面正則影像的尺寸。之後，影像處理裝置10，係朝向圖17中之箭頭的方向而進行偏位，並藉由影像轉換I或者是影像轉換II，來產生部分擴大影像32。
以上，若依據本實施形態，則係取得藉由使用有廣角透鏡或全方位反射鏡之攝像機2所攝影的失真圓形影像(失真影像之其中一例)S，並設定用以從失真圓形影像S而切出一部分之切出區域的切出中心點P(切出基準點之其中一例)，再根據切出中心點P而設定切出區域E，並將失真圓形影像S之攝影的視點作為基點，而設定與切出中心點P相對應之視線向量n，再使切出區域E從切出中心點P而移動預定之距離，並藉由根據視線向量n而從失真圓形影像S來轉換為平面正則影像T、C之影像轉換(對應關係式(1)、(2)、對應關係式(1’)、(2’)、對應關係式(13)、(14)以及對應關係式(18)、(19))，藉由此，而對被作了移動之切出區域E’進行轉換，藉由此，係能夠基於藉由1台的攝像機所攝 影了的失真影像，來產生更加自然之影像。
特別是，藉由在將視線向量n作了固定的狀態下而使切出區域作移動之偏位功能，係能夠根據影像轉換之各種的對應關係式，來得到更加自然的平面正則影像。例如，如圖8中所示一般，係能夠在從失真圓形影像之中心而有所離開之處，更加自然地形成全景感覺之平面正則影像。故而，由於就算是在藉由相對於車輛而以水平方向來作了設置的攝像機而得到失真圓形影像的情況時，亦能夠產生更加自然的影像，因此，使用者係成為易於對地面方向之障礙物等的物體之狀況作確認。特別是，在使用有影像轉換II的情況時，係成為容易對相對於車體等而為水平方向之物體作辨識。
又，影像處理裝置10，由於係根據藉由1台的攝像機2所攝影之失真圓形影像來產生平面正則影像，因此係並不需要進行影像之合成。進而，由於係能夠根據藉由1台的攝像機2所攝影之失真圓形影像來產生平面正則影像，因此係能夠將成本降低。
又，若是對於如圖8中所示一般之將視線向量n固定在水平方向並使用偏位功能來作了攝影的情況、和如圖9中所示一般之並不使用偏位功能而將視線向量n朝向人物之方向來作了攝影的情況之兩者間作比較，則在圖9之平面正則影像21中，由於視點向量n之朝向係成為俯視之狀態，因此，人物和椅子之垂直方向係成為朝向斜方向傾倒，而成為帶有異常感的影像。另一方面，在圖8之平面 正則影像20中，視點向量n之朝向，係成為朝向水平方向之狀態，人物和椅子之垂直方向係並未傾倒，而成為不會出現異常感的影像。故而，由於人物係被垂直地作顯示，因此係能夠從平面正則影像20而容易地檢測出人物，影像辨識係變得容易。又，外側部分(輪廓近旁)之失真係減輕，而成為容易對於人物之細部的特徵作確認。故而，藉由人眼來對於距離感覺作辨識或者是對於物體作判斷一事，係變得容易。
又，在一般性之後方確認用攝像機的情況時，為了顯示俯視影像，係需要將攝像機相對於車體而從水平方向起朝向垂直方向作某種程度的傾斜設置，但是，在本發明中，後方確認用攝像機之安裝角度的限制係較為和緩，而能夠將視野範圍擴廣。
又，當設定將作為失真影像之其中一例的失真圓形影像S之中心O作為中心的假想球面H，並設定從假想球面H之中心起，而朝向「與包含失真影像之平面相正交並且通過切出基準點之直線」和「假想球面H」間所交叉的交點Q之視線向量n的情況時，係能夠得到使失真作了減輕的平面正則影像。又，上述之影像轉換I和影像轉換II之對應關係式係成為容易算出。
又，當接收對於視線向量n作特定之參數的輸入，並設定視線向量n，而在於視線向量n之方向上而交叉的交點Q處而與前述視線向量n相正交之面內，設定與切出區域E相對應之平面正則影像T的區域，再在與視線向量相 正交之面內，而使所設定了的平面正則影像T之區域作移動，並根據視線向量n，而求出與被作了移動的平面正則影像T’之區域的各點相對應之失真影像的像素值，並將該求出之失真影像的像素值作為平面正則影像T’之像素值的情況時，係能夠得到使失真作了減輕的平面正則影像。又，具備有偏位功能之影像轉換I和影像轉換II之對應關係式係成為容易算出。
又，當在於視線向量n之方向上而交叉之交點Q處而與視線向量相正交之面，係為圓柱之面C的情況時，係能夠得到使失真作了減輕之全景影像的平面正則影像。
又，當設定與各視線向量相對應了的切出區域，並將各切出區域轉換為平面正則影像，再將影像轉換手段所求出之各平面正則影像顯示在1個的顯示手段中的情況時，係能夠將根據用途而把影像轉換I以及影像轉換II和偏位功能作了組合的在失真影像之各種方向上的高精確度之平面正則影像作組合顯示。
例如，如圖13或圖18中所示一般，係成為能夠將影像轉換I和影像轉換II之平面正則影像作併用而顯示影像。如圖13中所示一般，藉由全景影像27，係成為較易於對右端、左端之物體或人物作正確的確認，藉由俯視影像26，係成為較易於對停車時之緣石(curb)或障礙物作確認。
另外，如圖19中所示一般，攝像機2，係亦可在車體之後部處，以使透鏡之光軸相對於車體而成為垂直的方式 來作設定。於此情況，為了顯示圖13之俯視影像26，係亦可將視點向量n設為朝向光軸方向，而使用並不利用偏位功能之影像轉換I或影像轉換II的對應關係式。又，亦能夠以不會照到保險槓的方式來對於偏位功能作利用，亦可對於視點向量n之方向作改變。進而，為了顯示圖13之全景影像27，係亦可將視點向量n設為朝向光軸方向，而藉由偏位功能來使平面正則影像T’朝向水平方向移動，並使用影像轉換II的對應關係式。
又，亦可如圖20中所示一般，在公車的駕駛席之上部設置攝像機2，並顯示乘客座位之方向的影像34和對於駕駛席作俯視之影像35。係成為易於藉由1台的攝像機來對於公車車內全體的情況作掌握。若是將此些之影像使用在影像辨識中，則係成為易於進行人之辨識、車內之人數的掌握以及臉孔的辨識。
又，亦可如圖21中所示一般，在ATM(Automatic teller machine)之上部設置攝像機2，並顯示朝向ATM之使用者的方向之影像36和對於ATM之輸入部作俯視之影像37。係成為易於藉由1台的攝像機來對於ATM之使用者的情況和操作的情況作掌握。若是將此些之影像使用在影像辨識中，則係成為易於進行臉孔之辨識和操作的辨識。
另外，藉由影像顯示系統1和影像處理裝置10所進行之處理，係亦可為具備有CPU(Central Processing Unit)之電腦。藉由電腦，來進行影像轉換I、影像轉換 II、偏位功能等之演算。
進而，本發明，係並不被限定於上述各實施形態。上述各實施形態係僅為例示，具備有與在本發明之申請專利範圍中所記載的技術性思想為實質性相同之構成並可得到相同之作用效果者，不論是何種構成，均係被包含在本發明之技術性範圍中。
1‧‧‧影像顯示系統(影像顯示裝置)
2‧‧‧攝像機
3‧‧‧參數輸入部
4‧‧‧圖框記憶體
5‧‧‧顯示用監視器(顯示手段)
10‧‧‧畫像處理裝置
11‧‧‧修正．演算部
12‧‧‧影像產生部
S‧‧‧失真圓形影像(失真影像)
P‧‧‧切出中心點(切出基準點)
E、E’‧‧‧切出區域
n‧‧‧視線向量
T、T’、C‧‧‧平面正則影像
H‧‧‧假想球面
[圖1]對於本發明之實施形態的影像顯示系統之概要構成例作展示的區塊圖。
[圖2]係為對於在3維XYZ正交座標系中而包含有失真圓形影像S的2維XY正交座標系、和包含有平面正則影像T之2維UV正交座標系，其兩者間的關係之其中一例作展示的立體圖。
[圖3]係為對於2維XY正交座標系和2維UV彎曲座標系之間的關係之其中一例作展示的立體圖。
[圖4]係為對於在2維UV正交座標系上之點T(u，v)和2維UV彎曲座標系上之點C(u，v)之間的對應關係之其中一例作展示的平面圖。
[圖5]係為對於平面正則影像T和作了偏位後之平面正則影像T’之間的關係以及切出區域E和作了偏位後之切出區域E’之間的關係之其中一例作展示的立體圖。
[圖6]係為對於平面正則影像T和作了偏位後之平面正則影像T’之間的關係之其中一例作展示的平面圖。
[圖7]係為對於圖1之影像顯示系統的動作例作展示之流程圖。
[圖8]係為對於視線向量之方向和使用偏位功能所作了轉換的影像之其中一例作展示的模式圖。
[圖9]係為對於視線向量之方向和並不使用偏位功能地所作了轉換的影像之其中一例作展示的模式圖。
[圖10]係為對於在車體之後部而具備有魚眼攝像機之其中一例作展示的模式圖。
[圖11]係為對於藉由魚眼攝像機所攝影了的失真圓形影像之其中一例作展示的模式圖。
[圖12]係為在視點向量正相對於透鏡之光軸而朝向垂直方向的狀態下，而對於偏位後之平面正則影像T’之其中一例作展示的立體圖。
[圖13]係為對於將全景影像和俯瞰影像作了顯示的畫面顯示之其中一例作展示的模式圖。
[圖14]係為在視點向量正相對於透鏡之光軸而朝向水平方向的狀態下，而對於偏位後之平面正則影像T’之其中一例作展示的立體圖。
[圖15]係為對於平面正則影像T和作了偏位後之平面正則影像T’之間的關係之其中一例作展示的平面圖。
[圖16]當使在車體之前部而具備有魚眼攝像機之車輛在T字路口而作了停車時的俯瞰圖。
[圖17]係為對於藉由魚眼攝像機所攝影了的失真圓形影像之其中一例作展示的模式圖。
[圖18]係為對於將複數之平面正則影像作了顯示的畫面顯示之其中一例作展示的模式圖。
[圖19]係為對於在車體之後部而具備有魚眼攝像機之其中一例作展示的模式圖。
[圖20]係為對於將複數之平面正則影像作了顯示的畫面顯示之其中一例作展示的模式圖。
[圖21]係為對於將複數之平面正則影像作了顯示的畫面顯示之其中一例作展示的模式圖。

Claims (9)

  1. 一種影像處理裝置，其特徵為，具備有：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；和影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則(regular)影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
  2. 如申請專利範圍第1項所記載之影像處理裝置，其中，係更進而具備有：假想球面設定手段，係設定以前述失真影像之中心作為中心的假想球面，前述視線向量設定手段，係設定視線向量，該視線向量，係從前述假想球面之中心起，而朝向與包含前述失真影像之平面相正交並通過前述切出基準點之直線、和前述假想球面之兩者所相互交叉之交點。
  3. 如申請專利範圍第1項或第2項所記載之影像處理裝置，其中，前述視線向量設定手段，係接收對於前述視線向量作特定之參數的輸入，並設定前述視線向量，前述切出區域設定手段，係在於前述視線向量之方向上而交叉的交點處而與前述視線向量相正交之面內，設定與前述切出區域相對應之前述平面正則影像的區域，前述偏位手段，係在與前述視線向量相正交之面內，而使前述所設定了的平面正則影像之區域作移動，前述影像轉換手段，係根據前述視線向量，求出與前述被作了移動的平面正則影像之區域的各點相對應之前述失真影像的像素值，並將該求出之前述失真影像的像素值，作為前述平面正則影像之像素值。
  4. 如申請專利範圍第3項所記載之影像處理裝置，其中，前述與視線向量相正交之面，係為圓柱之面。
  5. 如申請專利範圍第1項或第2項所記載之影像處理裝置，其中，前述視線向量設定手段，係設定複數之視線向量，前述切出區域設定手段，係設定與各視線向量相對應之切出區域，前述影像轉換手段，係將前述各切出區域轉換為平面正則影像，將前述影像轉換手段所求出之各平面正則影像，顯示在1個的顯示手段中。
  6. 一種影像處理方法，係為使影像處理裝置對於影像進行處理之影像處理方法，其特徵為，包含有：失真影像取得步驟，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定步驟，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定步驟，係根據前述切出基準點而設定切出區域；和視線向量設定步驟，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位步驟，係使前述切出區域從前述切出基準點而移動預定之距離；和影像轉換步驟，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
  7. 一種影像處理裝置用程式產品，其特徵為，係使電腦作為下述之各手段而起作用：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和 視線向量設定手段，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；以及影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換。
  8. 一種記錄媒體，係將能夠使電腦作為下述之各手段而起作用之影像處理裝置用程式，以可藉由電腦來讀取的方式而作了記錄：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；以及影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作 了移動之切出區域進行轉換。
  9. 一種影像顯示裝置，其特徵為，具備有：失真影像取得手段，係取得藉由使用有廣角透鏡或全方位反射鏡之攝影所得到的失真影像；和切出基準點設定手段，係設定用以從前述失真影像而切出一部分之切出區域的切出基準點；和切出區域設定手段，係根據前述切出基準點而設定切出區域；和視線向量設定手段，係將前述失真影像之攝影的視點作為基點，而設定與前述切出基準點相對應之視線向量；和偏位手段，係使前述切出區域從前述切出基準點而移動預定之距離；和影像轉換手段，係藉由根據前述視線向量而從前述失真影像來轉換為平面正則影像之影像轉換，而對前述被作了移動之切出區域進行轉換；和顯示手段，係顯示藉由前述影像轉換手段所得到的平面正則影像。
TW101148359A 2011-12-19 2012-12-19 An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus TWI574224B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011277449A JP5966341B2 (ja) 2011-12-19 2011-12-19 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置

Publications (2)

Publication Number Publication Date
TW201342306A true TW201342306A (zh) 2013-10-16
TWI574224B TWI574224B (zh) 2017-03-11

Family

ID=48668477

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101148359A TWI574224B (zh) 2011-12-19 2012-12-19 An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus

Country Status (6)

Country Link
US (1) US9269124B2 (zh)
JP (1) JP5966341B2 (zh)
KR (1) KR102126241B1 (zh)
CN (1) CN104011767B (zh)
TW (1) TWI574224B (zh)
WO (1) WO2013094588A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716418B (zh) * 2015-08-05 2021-01-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5666069B1 (ja) * 2013-06-24 2015-02-12 三菱電機株式会社 座標算出装置及び方法、並びに画像処理装置及び方法
WO2015051910A1 (de) * 2013-10-10 2015-04-16 Giesecke & Devrient Gmbh System und verfahren zur bearbeitung von wertdokumenten
CN105765966B (zh) 2013-12-19 2020-07-10 英特尔公司 碗形成像系统
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
TWI502166B (zh) * 2014-11-19 2015-10-01 Alpha Imaging Technology Corp 動態影像監測系統及方法
CN105791660A (zh) * 2014-12-22 2016-07-20 中兴通讯股份有限公司 一种纠正被摄物体拍摄倾斜的方法、装置及移动终端
US9942475B2 (en) * 2015-07-24 2018-04-10 Robert Bosch Gmbh Real cross traffic—quick looks
US10453173B2 (en) 2015-07-24 2019-10-22 Robert Bosch Gmbh Panel transform
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
CZ306641B6 (cs) * 2015-12-09 2017-04-12 LTR s.r.o. Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru
CN105869110B (zh) * 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
JP7135277B2 (ja) * 2016-07-05 2022-09-13 株式会社リコー 画像処理装置、画像処理方法及びプログラム
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
US10198862B2 (en) * 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
CN110612720B (zh) * 2017-05-18 2022-04-12 索尼公司 信息处理装置、信息处理方法以及可读存储介质
WO2019069469A1 (ja) * 2017-10-06 2019-04-11 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
CA3057507C (en) * 2018-10-03 2023-08-22 Khaled Shariff Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
CN109472750B (zh) * 2018-10-29 2021-11-30 湖南优象科技有限公司 一种基于显著性检测的智能构图方法
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US11683464B2 (en) 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
JP6795637B2 (ja) * 2019-02-20 2020-12-02 ミネベアミツミ株式会社 アンテナ装置、及び、給電装置
US20220247924A1 (en) * 2019-06-13 2022-08-04 Nec Corporation Image processing device, image processing method, and non-transitory storage medium
CN111726488B (zh) * 2020-05-29 2022-07-08 深圳市伯森光电科技有限公司 光学系统
CN111915537A (zh) * 2020-08-13 2020-11-10 歌尔光学科技有限公司 图像处理方法及装置、图像采集装置和可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6420830A (en) * 1987-07-16 1989-01-24 Toshiba Corp Image processing apparatus
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US7714936B1 (en) * 1991-05-13 2010-05-11 Sony Corporation Omniview motionless camera orientation system
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
USRE43490E1 (en) * 1994-05-27 2012-06-26 B.H. Image Co. Llc Wide-angle dewarping method and apparatus
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
JP4658408B2 (ja) * 2001-08-30 2011-03-23 株式会社東海理化電機製作所 車両用監視装置
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP3952790B2 (ja) 2002-01-25 2007-08-01 株式会社豊田中央研究所 車輌後方表示装置
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
US7961980B2 (en) * 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
JP4629131B2 (ja) * 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
JP5245963B2 (ja) * 2009-03-19 2013-07-24 大日本印刷株式会社 画像変換装置
JP5353393B2 (ja) * 2009-04-07 2013-11-27 大日本印刷株式会社 画像処理装置及び画像処理方法等
WO2011158343A1 (ja) * 2010-06-16 2011-12-22 コニカミノルタオプト株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
JP5569329B2 (ja) * 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
US20140313377A1 (en) * 2011-11-09 2014-10-23 Mark Ross Hampton In relation to a lens system for a camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716418B (zh) * 2015-08-05 2021-01-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器、資訊記錄媒體、及資訊處理方法、及程式產品

Also Published As

Publication number Publication date
CN104011767B (zh) 2017-10-27
TWI574224B (zh) 2017-03-11
CN104011767A (zh) 2014-08-27
KR102126241B1 (ko) 2020-06-24
JP5966341B2 (ja) 2016-08-10
US9269124B2 (en) 2016-02-23
KR20140102174A (ko) 2014-08-21
US20140314336A1 (en) 2014-10-23
JP2013127739A (ja) 2013-06-27
WO2013094588A1 (ja) 2013-06-27

Similar Documents

Publication Publication Date Title
TWI574224B (zh) An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus
US8368687B2 (en) Image generating apparatus and image generating method
US8259173B2 (en) Image generating apparatus and image generating method
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP2004021307A (ja) 運転支援装置
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP5760999B2 (ja) 画像処理装置及び画像処理方法
KR20030065379A (ko) 전방위 시각 시스템, 화상처리방법, 제어프로그램, 및판독가능한 기록매체
JP2009059106A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
CN113538587A (zh) 一种相机坐标变换方法、终端以及存储介质
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
WO2017179722A1 (ja) 画像処理装置及び撮像装置
JP6669182B2 (ja) 乗員監視装置
JP2006333009A (ja) 俯瞰画像表示装置及び俯瞰画像表示方法
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP6641122B2 (ja) 表示装置及び情報処理装置及びその制御方法
JP2018030526A (ja) 車両用視認装置及び車両用視認画像表示方法
EP3833018B1 (en) Image processing method and apparatus for stereoscopic images of nearby object in binocular camera system of parallel axis type
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
JP2003319418A (ja) ステレオ画像表示方法およびステレオ画像表示装置
JP2019144154A (ja) 三次元計測装置
JP2007104537A (ja) 車両用死角映像表示装置
JP5189450B2 (ja) 画像生成方法
CN114463371A (zh) 对象追踪方法及其处理装置与系统
JP2015008430A (ja) 指定点表示画像生成装置