TWI522968B - 手持式電子裝置、影像擷取裝置及景深資訊的獲取方法 - Google Patents

手持式電子裝置、影像擷取裝置及景深資訊的獲取方法 Download PDF

Info

Publication number
TWI522968B
TWI522968B TW103126618A TW103126618A TWI522968B TW I522968 B TWI522968 B TW I522968B TW 103126618 A TW103126618 A TW 103126618A TW 103126618 A TW103126618 A TW 103126618A TW I522968 B TWI522968 B TW I522968B
Authority
TW
Taiwan
Prior art keywords
time
image
flight
image data
depth information
Prior art date
Application number
TW103126618A
Other languages
English (en)
Other versions
TW201604837A (zh
Inventor
林君達
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201604837A publication Critical patent/TW201604837A/zh
Application granted granted Critical
Publication of TWI522968B publication Critical patent/TWI522968B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

手持式電子裝置、影像擷取裝置及景深資訊的獲取方法
本發明是有關於一種影像擷取器，且特別是有關於一種影像擷取器的景深資訊的獲得方法。
隨著電子科技的進步，消費性電子產品日漸普及，而其中，手持式電子裝置尤其是近幾年來的產品主流。而在手持式電子裝置中提供高品質的影像擷取功能，也是其中一個重要的趨勢。
為擷取到高品質影像，關於影像物體的景深的計算是很重要的。在習知的技術領域中，可以透過在手持式電子裝置上配置多個影像擷取器，並透過不同影像擷取器獲取的影像間的偏移，來進行景深資訊的計算。這樣的作法在物體與取像者間的物距過小時，由於影像偏移量過大而容易造成計算所得的景深資訊有大的誤差。此外，若當影像中包括是一個平整面，或者無明顯的線條(如灰牆、白紙等物體)物體，透過上述的習知的作法， 是無法精確的計算出這些物體的景深資訊。
據此，提供一個可完整且精確的計算出影像景深資訊的作法，為本領域設計者的重要課題。
本發明提供一種影像擷取裝置及其景深資訊的獲取方法，可得到更完整且精確的景深地圖資訊。
本發明另提供一種手持式電子裝置，其影像擷取裝置可得到更完整且精確的景深地圖資訊。
本發明的影像擷取裝置包括飛行時間(TOF)影像擷取器、飛行時間控制器、主影像擷取器、次影像擷取器以及控制器。飛行時間影像擷取器用以進行取像動作並輸出TOF影像資料，次影像擷取器用以進行取像動作並取得第二影像資料。控制器耦接飛行時間影像擷取器以及主影像擷取器，並用於比對第一影像資料及第二影像資料在非有效區域範圍內的影像資料，以獲得對應非有效區域範圍的第二組景深資訊，以及結合第一組景深資訊及第二組景深資訊以獲得全幅景深地圖。
本發明的影像擷取裝置包括飛行時間影像擷取器、飛行時間控制器、主影像擷取器以及控制器。飛行時間(TOF)影像擷取器，用以進行取像動作並輸出TOF影像資料。飛行時間控制器耦接飛行時間影像擷取器並依據TOF影像資料計算出TOF景深地圖，依據TOF景深地圖定義有效區域範圍及非有效區域範圍，並 自TOF影像資料擷取對應有效區域範圍的第一組景深資訊。主影像擷取器用以進行取像動作並取得第一影像資料。控制器耦接飛行時間影像擷取器以及主影像擷取器，用於比對第一影像資料及TOF影像資料在非有效區域範圍內的影像資料，以獲得對應非有效區域範圍的第二組景深資訊，並且，結合第一組景深資訊及第二組景深資訊以獲得全幅景深地圖。
本發明的手持式電子裝置包括主機以及影像擷取裝置。影像擷取裝置包括飛行時間(TOF)影像擷取器、飛行時間控制器、主影像擷取器、次影像擷取器以及控制器。飛行時間影像擷取器用以進行取像動作並輸出TOF影像資料，次影像擷取器用以進行取像動作並取得第二影像資料。控制器耦接飛行時間影像擷取器以及主影像擷取器，並用於比對第一影像資料及第二影像資料在非有效區域範圍內的影像資料，以獲得對應非有效區域範圍的第二組景深資訊，以及結合第一組景深資訊及第二組景深資訊以獲得全幅景深地圖。
本發明的景深資訊的獲取方法包括：分別透過飛行時間影像擷取器、主影像擷取器以及次影像擷取器來分別擷取TOF影像資料、第一影像資料以及第二影像資料；獲得TOF影像資料的有效區域範圍以及非有效區域範圍，並產生有效區域範圍的第一組景深資訊；依據TOF影像資料、第一、第二影像資料的其中之二來計算非有效區域範圍的區域影像的第二組景深資訊；以及，依據第一組景深資訊以及第二組景深資訊來產生全幅景深地圖。
基於上述，本發明藉由配合飛行時間影像擷取器以及影像擷取器來進行景深地圖的計算。影像資料中具有近距離以及中距離的物距的物體可由飛行時間影像擷取器來進行計算，而影像資料中具有較遠距離物距的物體則可依據飛行時間影像擷取器以及影像擷取器所擷取的影像資料來進行計算，如此一來，影像資料中不同距離的物體可以分別依據較佳的計算方式來獲得。更完整且精準的景深地圖資訊可以因此而獲得。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、200、600、810‧‧‧影像擷取裝置
110、210、610‧‧‧飛行時間影像擷取器
IMG1、IMG2‧‧‧影像資料
TIMG‧‧‧TOF影像資料
DEP1、DEP2、DEP1A、DEP2A‧‧‧景深資訊
120、220、620、812‧‧‧主影像擷取器
140、270‧‧‧次影像擷取器
101‧‧‧積體電路
150、250、670‧‧‧飛行時間控制器
130、230、630‧‧‧控制器
DEP_MAP‧‧‧全幅景深地圖
240、640、740‧‧‧電磁信號發射器
CMD‧‧‧發射命令
IR1、IR11、IR12‧‧‧電磁波信號
RIR1、RIR11、RIR12‧‧‧反射電磁波信號
OA1~OA2、O1~O5、OB1‧‧‧物體
R2‧‧‧非有效區域範圍
R1‧‧‧有效區域範圍
D、d‧‧‧距離
A‧‧‧視角差
611、711‧‧‧TOF影像感測器
671、712‧‧‧TOF影像景深計算器
CTR‧‧‧控制信號
642、742‧‧‧信號發射介面
641‧‧‧信號發射控制器
631‧‧‧景深計算器
632‧‧‧景深地圖合成器
660‧‧‧儲存裝置
MB‧‧‧主體
800‧‧‧手持式電子裝置
S1‧‧‧表面
S810~S840‧‧‧景深資訊的獲取步驟
圖1A繪示本發明實施例的影像擷取器的示意圖。
圖1B繪示本發明實施例的影像擷取裝置100的另一實施方式的示意圖。
圖2繪示本發明另一實施例的影像擷取器的示意圖。
圖3A~圖3C繪示本發明實施例的影像區域範圍的示意圖。
圖4繪示飛行時間影像擷取器的動作示意圖。
圖5繪示景深資訊計算的示意圖。
圖6繪示本發明再一實施例的影像擷取裝置的示意圖。
圖7繪示本發明實施例的手持式電子裝置的示意圖。
圖8繪示本發明實施例的景深資訊的獲取方法的流程圖。
請參照圖1A，圖1A繪示本發明實施例的影像擷取器的示意圖。在圖1A中，影像擷取裝置100包括飛行時間(time of flight,TOF)影像擷取器110、主影像擷取器120、次影像擷取器140、飛行時間控制器150以及控制器130。飛行時間影像擷取器110用以執行取像動作(例如拍照)以獲得並輸出影像TOF資料TIMG。飛行時間控制器150針對TOF資料TIMG進行判斷，以藉此獲得TOF景深地圖。飛行時間控制器150並依據TOF景深地圖來定義出TOF影像資料TIMG中的有效區域範圍以及非有效區域範圍。並且，飛行時間控制器150可計算出TOF影像資料TIMG中的有效區域範圍的第一組景深資訊DEP1。
在本實施例中，飛行時間影像擷取器110以及飛行時間控制器150可被整合在一個積體電路101中。
在此，飛行時間影像擷取器110可透過發送一個電磁波信號至物體上，並透過接收由物體反射回的反射電磁波信號來計算出物體與飛行時間影像擷取器110間的物距。上述的電磁波信號可以是不可見光的信號，例如紅外線。因此，當物體與飛行時間影像擷取器110間的物距過大時，飛行時間影像擷取器110所偵測出的物距的誤差值可能會過大。也因此，飛行時間影像擷取器110可依據TOF景深地圖以設定TOF影像資料TIMG中物距過大的物體為非有效區域範圍的物體，並設定TOF影像資料TIMG中物距小於一定範圍中的物體為有效區域範圍的物體。
具體來說明，飛行時間控制器150可針對TOF影像資料TIMG中的多個物體與飛行時間影像擷取器110間的物距來進行判斷，並依據各物體的物距是否大於一個臨界值來判斷各物體是否屬於有效區域範圍或是非有效區域範圍。也就是說，當TOF影像資料TIMG中的物體的物距大於預設的臨界值，表示此物體屬於非有效區域範圍，相對的，當TOF影像資料TIMG中的物體的物距不大於預設的臨界值，表示此物體屬於有效區域範圍。在本發明實施例中，上述的預設可以設定為1公尺。
主影像擷取器120用來擷取影像資料IMG1，次影像擷取器140則用來擷取影像資料IMG2。並且，影像資料IMG1、IMG2以及飛行時間控制器150所獲得的有效區域範圍的第一組景深資訊DEP1都可被傳送至控制器130。控制器130可依據影像資料IMG1以及IMG2來計算出TOF影像資料TIMG中的非有效區域範圍的第二組景深資訊，並將有效區域範圍的第一組景深資訊DEP1以及非有效區域範圍的第二組景深資訊進行整合，來獲得全幅景深地圖DEP_MAP。
也就是說，在本發明實施例中，利用飛行時間影像擷取器110以及飛行時間控制器150來建立近距離以及中距離物距的物體的第一組景深資訊(也就是有效區域範圍的景深資訊)，再利用影像資料IMG1以及IMG2以計算出中遠距離、遠距離以及無限遠距離的物體的第二組景深資訊(也就是非有效區域範圍的景深資訊)。如此一來，影像資料中的所有物體的景深資訊可以分別的 被精準計算出，從而獲得完整且準確的全幅景深地圖DEP_MAP。
以下請參照圖1B，圖1B繪示本發明實施例的影像擷取裝置100的另一實施方式的示意圖。在圖1B中，影像擷取裝置100包括飛行時間影像擷取器110、主影像擷取器120、飛行時間控制器150以及控制器130。在圖1B的實施方式中，控制器130可依據飛行時間影像擷取器110以及飛行時間控制器150所獲得的TOF影像資料TIMG來配合主影像擷取器120所獲得的影像資料IMG1以進行第二組景深資訊的計算。並且，控制器130可依據飛行時間控制器150所獲得的第一組景深資訊與上述的第二組景深資訊進行合成，來產生全幅景深地圖DEP_MAP。
以下請參照圖2，圖2繪示本發明另一實施例的影像擷取器的示意圖。在圖2中，影像擷取裝置200包括飛行時間影像擷取器210、主影像擷取器220、控制器230、飛行時間控制器250以及電磁信號發射器240。在本實施例中，電磁信號發射器240與飛行時間控制器250相耦接，且電磁信號發射器240受控於飛行時間控制器250所發送的發射命令CMD。具體來說明，當飛行時間影像擷取器210要進行影像擷取動作時，飛行時間控制器250透過發射命令CMD來驅動電磁信號發射器240以發送電磁波信號IR1。而電磁波信號IR1在碰觸到物體後，所產生的反射電磁波信號RIR1則由飛行時間影像擷取器210所接收。飛行時間控制器250透過電磁波信號IR1發射的時間點以及接收到反射電磁波信號RIR1的時間點的時間差，可以計算出電磁波信號IR1以及反射 電磁波信號RIR1的飛行時間，並可藉此計算出物體與飛行時間影像擷取器210間的物距。
在此，電磁波信號IR1針對一個區域範圍進行發送，在區域範圍中的多個物體皆可形成介質來產生反射電磁波信號RIR1。飛行時間控制器250則可依據反射電磁波信號RIR1來建立出TOF影像資料TIMG。在此請參照圖4，其中，圖4繪示飛行時間影像擷取器210以及飛行時間控制器250的動作示意圖。在圖4中，電磁信號發射器240在一定範圍中發送出多個電磁波信號IR11以及IR12，而人員物體OA1以及椅子物體OA2分別接收到電磁波信號IR11以及IR12，並分別反射出反射電磁波信號RIR11以及RIR12。飛行時間影像擷取器210則可接收反射電磁波信號RIR11以及RIR12，飛行時間控制器250並藉由計算人員物體OA1以及椅子物體OA2與飛行時間影像擷取器210間的物距來計算出TOF影像資料TIMG。附帶一提的，上述可被飛行時間影像擷取器210接收的反射電磁波信號的範圍即為飛行時間影像擷取器210的視野(Field Of View,FOV)。
另外，飛行時間控制器250可以依據所計算出的物體的物距來定義出TOF影像資料TIMG中的有效區域範圍以及非有效區域範圍。以下請同時參照圖2以及圖3A~圖3C，其中圖3A~圖3C繪示本發明實施例的影像區域範圍的示意圖。在圖3A中，飛行時間影像擷取器210所擷取的影像中具有多個物體，例如太陽物體O1、山物體O2、房子物體O3、人員物體O4以及小花物體 O5。而其中的太陽物體O1及山物體O2具有較遠的物距，而房子物體O3、人員物體O4以及小花物體O5則具有較近的物距。
飛行時間影像擷取器210可依據各物體的物距進行規劃，其中，房子物體O3、人員物體O4以及小花物體O5被規劃屬於有效區域範圍R1(如圖3B)，太陽物體O1以及山物體O2則被規劃屬於非有效區域範圍R2(如圖3C)。
附帶一提的，在非有效區域範圍R2中的物體，在影像資料IMG1中所呈現的影像品質可能是模糊不清的。
請重新參照圖2，關於控制器230依據影像資料IMG1以及IMG2來計算出非有效區域的景深資訊的部份，請同步參照圖2及圖5，其中圖5繪示景深資訊計算的示意圖。在圖5中，主影像擷取器220以及次影像擷取器270配置在影像擷取裝置200上。主影像擷取器220以及次影像擷取器270的距離為d，並分別針對物體OB1進行取像動作。並且，影像擷取裝置200與物體OB1間的距離為D，而主影像擷取器220以及次影像擷取器270與物體OB1間所產生的視角差則為A。如此，物體OB1的景深資訊DEPTH如下式所示：
附帶一提的，基於主、次影像擷取器220及250所分別提供的影像資料IMG及IMG2是用來作為計算非有效區域範圍的景深資訊，因此，主、次影像擷取器220及250可以設定以較遠 距離的焦距進行對焦，這個焦距可以大於用以判定影像資料中的物體為有效區域範圍或非有效區域範圍的預設的臨界值。
附帶一提的，在圖2的實施方式中，飛行時間控制器250內建在控制器230中。
以下請參照圖6，圖6繪示本發明再一實施例的影像擷取裝置的示意圖。影像擷取裝置600包括飛行時間影像擷取器610、主影像擷取器620、控制器630、電磁信號發射器640、飛行時間控制器670以及儲存裝置660。在本實施例中，飛行時間影像擷取器610包括飛行時間(TOF)影像感測器611。飛行時間控制器670包括TOF影像景深計算器671。TOF影像感測器611耦接TOF影像景深計算器671。TOF影像感測器611接收反射電磁波信號RIR1，飛行時間控制器670則可依據反射電磁波信號RIR1產生TOF影像資料TIMG，並依據TOF影像資料TIMG來產生其中有效區域範圍的第一組景深資訊DEP1。
電磁信號發射器640包括信號發射控制器641以及信號發射介面642。信號發射控制器641耦接至TOF影像擷取器610並接收發射命令CMD。信號發射控制器641依據發射命令CMD來產生控制信號CTR，並傳送控制信號CTR至信號發射介面642，以驅動信號發射介面642來發送電磁波信號IR1。
在本實施例中，電磁波信號IR1可以是紅外線信號，而信號發射介面642可以是紅外線發射器，信號發射控制器641則可以是紅外線發射器的驅動電路。
控制器630則包括景深計算器631、景深地圖合成器632以及飛行時間控制器670。景深計算器631接收影像資料IMG1、IMG2，並依據影像資料IMG1、IMG2來計算非有效區域範圍的第二組景深資訊DEP2。
值得一提的，本實施例中更透過設置儲存裝置660以儲存計算出的第一組及第二組景深資訊DEP1以及DEP2。景深地圖合成器632則可由儲存裝置660讀取景深資訊DEP1A(對應景深資訊DEP1)以及DEP2A(對應景深資訊DEP2)來進行合成，並據以產生全幅景深地圖DEP_MAP。
以下請參照圖7，圖7繪示本發明實施例的手持式電子裝置的示意圖。手持式電子裝置800包括主機MB以及影像擷取裝置810。影像擷取裝置810設置在主機MB中，其中影像擷取裝置810包括電磁信號發射器811、飛行時間影像感測器815、主影像擷取器812以及次影像擷取器813。電磁信號發射器811以及飛行時間影像感測器815構成飛行時間影像擷取器。其中，飛行時間影像擷取器、主影像擷取器812以及次影像擷取器813配置在手持式電子裝置800的主機MB的一表面S1上。
關於影像擷取裝置810如何取得輸出影像地圖資訊的相關實施細節，在前述的多個實施例中都有詳盡的說明，以下恕不多贅述。
以下請參照圖8，圖8繪示本發明實施例的景深資訊的獲取方法的流程圖。其步驟包括，在步驟S810中，分別透過飛行時 間影像擷取器、主影像擷取器以及次影像擷取器來分別擷取TOF影像資料、第一影像資料以及第二影像資料；並且，在步驟S820中，獲得TOF影像資料的有效區域範圍以及非有效區域範圍，並產生有效區域範圍的第一組景深資訊。接著，在步驟S830中，依據TOF影像資料、第一、第二影像資料的其中之二來計算非有效區域範圍的區域影像的第二組景深資訊。且在步驟S840中，依據第一組景深資訊以及第二組景深資訊來產生全幅景深地圖。
關於本實施例各步驟的實施細節，在前述的多個實施例都有詳盡的說明，以下恕不多贅述。
綜上所述，本發明結合TOF影像擷取器以及主、次要影像擷取器，透過針對影像資料上具有不同物距的物體，分別進行景深資訊的計算，來獲得全幅景深地圖。如此一來，可以獲得更完整且更精確的全幅景深地圖，有效提升擷取影像的品質。
100‧‧‧影像擷取裝置
110‧‧‧飛行時間影像擷取器
IMG1、IMG2‧‧‧影像資料
DEP1‧‧‧景深資訊
120‧‧‧主影像擷取器
130‧‧‧控制器
140‧‧‧次影像擷取器
150‧‧‧飛行時間控制器
101‧‧‧積體電路
TIMG‧‧‧TOF影像資料
DEP_MAP‧‧‧全幅景深地圖

Claims (28)

  1. 一種影像擷取裝置，包括：一飛行時間(TOF)影像擷取器，用以進行取像動作並輸出一TOF影像資料；一飛行時間控制器，耦接該飛行時間影像擷取器並依據該TOF影像資料計算出一TOF景深地圖，依據該TOF景深地圖定義一有效區域範圍及一非有效區域範圍，並自該TOF影像資料擷取對應該有效區域範圍的一第一組景深資訊；一主影像擷取器，用以進行取像動作並取得一第一影像資料；一次影像擷取器，用以進行取像動作並取得一第二影像資料；以及一控制器，耦接該飛行時間影像擷取器、該飛行時間控制器、該主影像擷取器以及該次影像擷取器，用於：比對該第一影像資料及該第二影像資料在該非有效區域範圍內的影像資料，以獲得對應該非有效區域範圍的一第二組景深資訊；以及結合該第一組景深資訊及該第二組景深資訊以獲得一全幅景深地圖。
  2. 如申請專利範圍第1項所述的影像擷取裝置，其中該飛行時間影像擷取器包括：一電磁信號發射器，發射一電磁波信號，其中，該電磁波信號由一物體反射產生一反射電磁波信號， 該反射電磁波信號由該飛行時間影像擷取器接收並透過計算該反射電磁波信號的飛行時間來獲得該TOF影像資料。
  3. 如申請專利範圍第2項所述的影像擷取裝置，其中該飛行時間控制器用以判斷：在該TOF影像資料中，若該物體與該飛行時間影像擷取器間的一物距大於一臨界值時，該物體所屬的區域為該非有效區域範圍，若該物體與該飛行時間影像擷取器間的一物距不大於該臨界值時，該物體所屬的區域為該有效區域範圍。
  4. 如申請專利範圍第2項所述的影像擷取裝置，其中該飛行時間影像擷取器包括：一飛行時間影像感測器，接收並透過計算該反射電磁波信號的飛行時間來獲得該TOF影像資料；該飛行時間控制器包括：一飛行時間影像景深計算器，耦接該飛行時間影像感測器，獲取該TOF影像資料的該有效區域範圍以及該非有效區域範圍，並產生該有效區域範圍的該第一景深資訊。
  5. 如申請專利範圍第4項所述的影像擷取裝置，其中該電磁信號發射器包括：一信號發射介面，用以依據一控制信號來發射該電磁波信號；以及一信號發射控制器，耦接該飛行時間影像景深計算器，該信號發射控制器由該飛行時間影像景深計算器接收一發射命令並依 據該發射命令產生該控制信號以驅動該信號發射介面發射該電磁波信號。
  6. 如申請專利範圍第1項所述的影像擷取裝置，其中該控制器包括：一景深計算器，依據該第一及第二組影像資料計算該非有效區域範圍的區域影像的該第二組景深資訊；以及一景深地圖合成器，接收該第一組景深資訊以及該第二組景深資訊，並將該第一組景深資訊以及該第二組景深資訊進行合成以產生該全幅景深地圖。
  7. 如申請專利範圍第1項所述的影像擷取裝置，其中更包括：一儲存裝置，耦接該控制器以及該飛行時間控制器，用以儲存該第一組景深資訊以及該第二組景深資訊。
  8. 如申請專利範圍第1項所述的影像擷取裝置，其中該主影像擷取器依據至少一個焦距以進行影像擷取來獲得該第一影像資料，該次影像擷取器依據該至少一焦距進行影像擷取來獲得該第二影像資料，該控制器依據該第一及第二影像資料來產生對應該至少一焦距的一個或多個的該第二組景深資訊。
  9. 如申請專利範圍第8項所述的影像擷取裝置，其中該至少一個焦距依據該非有效區域範圍進行設置。
  10. 如申請專利範圍第1項所述的影像擷取裝置，其中該飛行時間控制器與該飛行時間(TOF)影像擷取器整合在一積體電路中，或者，該飛行時間控制器內建在該控制器中。
  11. 一種影像擷取裝置，包括：一飛行時間(TOF)影像擷取器，用以進行取像動作並輸出一TOF影像資料；一飛行時間控制器，耦接該飛行時間影像擷取器並依據該TOF影像資料計算出一TOF景深地圖，依據該TOF景深地圖定義一有效區域範圍及一非有效區域範圍，並自該TOF影像資料擷取對應該有效區域範圍的一第一組景深資訊；一主影像擷取器，用以進行取像動作並取得一第一影像資料；以及一控制器，耦接該飛行時間影像擷取器、該飛行時間控制器、該主影像擷取器以及該次影像擷取器，用於：比對該第一影像資料及該TOF影像資料在該非有效區域範圍內的影像資料，以獲得對應該非有效區域範圍的一第二組景深資訊；以及結合該第一組景深資訊及該第二組景深資訊以獲得一全幅景深地圖。
  12. 一種手持式電子裝置，包括：一主機；以及一影像擷取裝置，設置在該主機中，包括：一飛行時間影像擷取器，用以進行取像動作並輸出一TOF影像資料；一飛行時間控制器，耦接該飛行時間影像擷取器並依據 該TOF影像資料計算出一TOF景深地圖，依據該TOF景深地圖定義一有效區域範圍及一非有效區域範圍，並自該TOF影像資料擷取對應該有效區域範圍的一第一組景深資訊；一主影像擷取器，用以進行取像動作並取得一第一影像資料；一次影像擷取器，用以進行取像動作並取得一第二影像資料；以及一控制器，耦接該飛行時間影像擷取器、該飛行時間控制器、該主影像擷取器以及該次影像擷取器，用於：比對該第一影像資料及該第二影像資料在該非有效區域範圍內的影像資料，以獲得對應該非有效區域範圍的一第二組景深資訊；以及結合該第一組景深資訊及該第二組景深資訊以獲得一全幅景深地圖。
  13. 如申請專利範圍第12項所述的手持式電子裝置，其中該飛行時間影像擷取器包括：一電磁信號發射器，設置在該主機中，用以發射一電磁波信號，其中，該電磁波信號由一物體反射產生一反射電磁波信號，該反射電磁波信號由該飛行時間影像擷取器接收並透過計算該反射電磁波信號的飛行時間來獲得該TOF影像資料。
  14. 如申請專利範圍第13項所述的手持式電子裝置，其中該 飛行時間控制器用以判斷：在該TOF影像資料中，若該物體與該飛行時間影像擷取器間的一物距大於一臨界值時，該物體所屬的區域為該非有效區域範圍，若該物體與該飛行時間影像擷取器間的一物距不大於該臨界值時，該物體所屬的區域為該有效區域範圍。
  15. 如申請專利範圍第13項所述的手持式電子裝置，其中該飛行時間影像擷取器包括：一飛行時間影像感測器，設置在該主機的一表面上，接收並透過計算該反射電磁波信號的飛行時間來獲得該TOF影像資料；該飛行時間控制器包括：一飛行時間影像景深計算器，耦接該飛行時間影像感測器，獲取該TOF影像資料的該有效區域範圍以及該非有效區域範圍，並產生該有效區域範圍的該第一景深資訊。
  16. 如申請專利範圍第15項所述的手持式電子裝置，其中該電磁信號發射器包括：一信號發射介面，設置在該主機的該表面上，用以依據一控制信號來發射該電磁波信號；以及一信號發射控制器，耦接該飛行時間影像景深計算器，該信號發射控制器由該飛行時間影像景深計算器接收一發射命令並依據該發射命令產生該控制信號以驅動該信號發射介面發射該電磁波信號。
  17. 如申請專利範圍第12項所述的手持式電子裝置，其中該 控制器包括：一景深計算器，耦接該主影像擷取器，依據該第一、第二組影像資料計算該非有效區域範圍的區域影像的該第二組景深資訊；以及一景深地圖合成器，接收該第一組景深資訊以及該第二組景深資訊，並將該第一組景深資訊以及該第二組景深資訊進行合成以產生該全幅景深地圖。
  18. 如申請專利範圍第12項所述的手持式電子裝置，其中更包括：一儲存裝置，耦接該控制器以及該飛行時間控制器，用以儲存該第一組景深資訊以及該第二組景深資訊。
  19. 如申請專利範圍第12項所述的手持式電子裝置，其中該主影像擷取器依據至少一個焦距以進行影像擷取來獲得至少一第一變焦影像資料，該次影像擷取器依據該至少一焦距進行影像擷取來至少一第二變焦影像資料，該控制器依據該至少一第一及第二變焦影像資料來產生對應該至少一焦距的一個或多個的該第二組景深資訊。
  20. 如申請專利範圍第19項所述的手持式電子裝置，其中該至少一個焦距依據該非有效區域範圍進行設置。
  21. 一種景深資訊的獲取方法，包括分別透過一飛行時間影像擷取器、一主影像擷取器以及一次影像擷取器來分別擷取一TOF影像資料、一第一影像資料以及一 第二影像資料；獲得該TOF影像資料的一有效區域範圍以及一非有效區域範圍，並產生該有效區域範圍的一第一組景深資訊；依據該TOF影像資料、該第一、第二影像資料的其中之二來計算該非有效區域範圍的區域影像的一第二組景深資訊；以及依據該第一組景深資訊以及該第二組景深資訊來產生一全幅景深地圖。
  22. 如申請專利範圍第21項所述的景深資訊的獲取方法，其中，透過該飛行時間影像擷取器來擷取該TOF影像資料的步驟包括：發射一電磁波信號，其中，該電磁波信號由一物體反射產生一反射電磁波信號；接收該反射電磁波信號並透過計算該反射電磁波信號的飛行時間來獲得該TOF影像資料。
  23. 如申請專利範圍第22項所述的景深資訊的獲取方法，其中，發射該電磁波信號的步驟包括：由該飛行時間影像景深計算器接收一發射命令；依據該發射命令產生一控制信號以驅動一信號發射介面發射該電磁波信號。
  24. 如申請專利範圍第22項所述的景深資訊的獲取方法，其中，獲得該TOF影像資料的該有效區域範圍以及該非有效區域範圍的步驟包括： 若該物體與該飛行時間影像擷取器間的一物距大於一臨界值時，該物體所屬的區域為該非有效區域範圍；以及若該物體與該飛行時間影像擷取器間的一物距不大於該臨界值時，該物體所屬的區域為該有效區域範圍。
  25. 如申請專利範圍第21項所述的景深資訊的獲取方法，其中，依據該第一組景深資訊以及該第二組景深資訊來產生該全幅景深地圖的步驟包括：將該第一組景深資訊以及該第二組景深資訊進行合成以產生該全幅景深地圖。
  26. 如申請專利範圍第21項所述的景深資訊的獲取方法，更包括：儲存該第一組景深資訊以及該第二組景深資訊至一記憶體裝置中。
  27. 如申請專利範圍第21項所述的景深資訊的獲取方法，更包括：依據至少一焦距以進行取像動作來獲得該第一影像資料；依據該至少一焦距進行取像動作來獲得該第二影像資料；以及依據該第一及第二影像資料來產生對應該至少一焦距的一個或多個的該第二組景深資訊。
  28. 如申請專利範圍第27項所述的景深資訊的獲取方法，其中該至少一個焦距依據該非有效區域範圍進行設置。
TW103126618A 2014-07-29 2014-08-04 手持式電子裝置、影像擷取裝置及景深資訊的獲取方法 TWI522968B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/445,076 US9848181B2 (en) 2014-07-29 2014-07-29 Hand-held electronic apparatus, image capturing apparatus and method for obtaining depth information

Publications (2)

Publication Number Publication Date
TW201604837A TW201604837A (zh) 2016-02-01
TWI522968B true TWI522968B (zh) 2016-02-21

Family

ID=55181440

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103126618A TWI522968B (zh) 2014-07-29 2014-08-04 手持式電子裝置、影像擷取裝置及景深資訊的獲取方法

Country Status (3)

Country Link
US (1) US9848181B2 (zh)
CN (1) CN105321159B (zh)
TW (1) TWI522968B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147891B (zh) * 2017-05-17 2019-03-01 浙江大学 光轴可调节式三目深度获取摄像机
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及系统、存储介质
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US10609361B2 (en) * 2018-06-29 2020-03-31 Semiconductor Components Industries, Llc Imaging systems with depth detection
CN109005348A (zh) * 2018-08-22 2018-12-14 Oppo广东移动通信有限公司 电子装置和电子装置的控制方法
KR102640871B1 (ko) * 2018-10-30 2024-02-27 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps
CN113642355A (zh) * 2020-04-27 2021-11-12 光宝电子(广州)有限公司 可移动式电子装置及其操作方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873416B (zh) 2009-04-24 2012-07-18 宏达国际电子股份有限公司 影像摄取装置及其影像摄取方法
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US20130308013A1 (en) * 2012-05-18 2013-11-21 Honeywell International Inc. d/b/a Honeywell Scanning and Mobility Untouched 3d measurement with range imaging
TWI471630B (zh) 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
TWM458748U (zh) 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置

Also Published As

Publication number Publication date
US9848181B2 (en) 2017-12-19
US20160037151A1 (en) 2016-02-04
TW201604837A (zh) 2016-02-01
CN105321159A (zh) 2016-02-10
CN105321159B (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
TWI522968B (zh) 手持式電子裝置、影像擷取裝置及景深資訊的獲取方法
US10334151B2 (en) Phase detection autofocus using subaperture images
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
TWI627487B (zh) 手持式電子裝置、圖像擷取裝置及其圖像擷取方法
CN107113415A (zh) 用于多技术深度图获取和融合的方法和设备
US8730302B2 (en) Method and system for enhancing 3D effects for 3D video rendering
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
US10966599B2 (en) Endoscopic stereo matching method and apparatus using direct attenuation model
EP3135033B1 (en) Structured stereo
CN108028887A (zh) 一种终端的拍照对焦方法、装置及设备
US10795022B2 (en) 3D depth map
WO2020243969A1 (zh) 人脸识别的装置、方法和电子设备
JP2018500778A (ja) ３ｄパノラマイメージ生成のための映像生成装置及び方法
CN104205083A (zh) 基于云的数据处理
CN112005548A (zh) 生成深度信息的方法和支持该方法的电子设备
EP2662833A2 (en) Light source data processing device, method and program
TW202008306A (zh) 攝像頭校準方法和裝置、電子設備
CN102724398A (zh) 图像数据提供方法、组合方法及呈现方法
TW201501508A (zh) 立體顯示方法
CN106597469B (zh) 主动成像的激光摄像头的成像方法
TWI510082B (zh) 用於影像辨識之影像擷取方法及其系統
JP2001266128A (ja) 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
CN112543284B (zh) 对焦系统、方法及装置
US10979687B2 (en) Using super imposition to render a 3D depth map
KR20220014495A (ko) 전자 장치 및 그 제어 방법