JPWO2017203777A1 - 電子装置、電子装置の制御方法、および、プログラム - Google Patents

電子装置、電子装置の制御方法、および、プログラム Download PDF

Info

Publication number
JPWO2017203777A1
JPWO2017203777A1 JP2017560634A JP2017560634A JPWO2017203777A1 JP WO2017203777 A1 JPWO2017203777 A1 JP WO2017203777A1 JP 2017560634 A JP2017560634 A JP 2017560634A JP 2017560634 A JP2017560634 A JP 2017560634A JP WO2017203777 A1 JPWO2017203777 A1 JP WO2017203777A1
Authority
JP
Japan
Prior art keywords
unit
electronic device
shape
distance
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017560634A
Other languages
English (en)
Other versions
JP6904261B2 (ja
Inventor
大木　光晴
光晴 大木
伸樹 古江
伸樹 古江
嘉人 大木
嘉人 大木
東山　恵祐
恵祐 東山
正浩 渡邉
正浩 渡邉
堅誠 城
堅誠 城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017203777A1 publication Critical patent/JPWO2017203777A1/ja
Application granted granted Critical
Publication of JP6904261B2 publication Critical patent/JP6904261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

画像を撮像する電子装置において、画像内の文字を正確に認識する。電子装置は、撮像部、測距部、形状推定部、および、座標変換部を具備する。撮像部は、物体を撮像して画像データを撮像する。測距部は、撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する。形状推定部は、測定された距離から物体の形状を推定する。座標変換部は、推定された形状に基づいて物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う。

Description

本技術は、電子装置、その制御方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、文字認識を行う電子装置、その制御方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
従来より、印刷物に記載された文字を情報処理装置によって取り込んで処理するために、光学文字認識（ＯＣＲ：Optical Character Recognition）と呼ばれる技術が用いられている。例えば、車載カメラによって道路の標識を撮像して、その標識に記載された文字をＯＣＲを用いて読み取り、翻訳するシステムが提案されている（例えば、特許文献１参照。）。
特開２００３−３２３６９３号公報
上述の従来技術では、標識に記載された文字の意味を、光学文字認識によって認識している。しかしながら、上述の従来技術では、湾曲した面や車載カメラから見て傾いた面に文字が記載されていた場合に、文字の形が歪んで光学文字認識を正確に行うことができないという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、画像を撮像する電子装置において、画像内の文字を正確に認識することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、物体を撮像して画像データを撮像する撮像部と、上記撮像部から上記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距部と、上記測定された距離から上記物体の形状を推定する形状推定部と、上記推定された形状に基づいて上記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を上記画像データに対して行う座標変換部とを具備する電子装置、その制御方法、および、その方法をコンピュータに実行させるためのプログラムである。これにより、物体の表面上の立体座標が、基準平面上の平面座標に変換されるという作用をもたらす。
また、この第１の側面において、上記座標変換が行われた画像データにおいて上記物体の表面上の文字を認識する文字認識部をさらに具備してもよい。これにより、文字が認識されるという作用をもたらす。
また、この第１の側面において、照射光を照射する照射部をさらに具備し、上記測距部は、上記照射光に対する反射光と上記照射光との位相差から上記距離を測定してもよい。これにより、反射光と上記照射光との位相差から距離が測定されるという作用をもたらす。
また、この第１の側面において、上記撮像部は、上記画像データを撮像する処理と上記照射光を受光する処理とを行ってもよい。これにより、同一の撮像部で画像データの撮像と照射光の受光とが行われるという作用をもたらす。
また、この第１の側面において、上記照射部は、所定の周期信号に同期したパルス光を上記照射光として照射してもよい。これにより、パルス光が照射されるという作用をもたらす。
また、この第１の側面において、上記照射部は、スポット光および拡散光のいずれかを所定の操作に従って選択して上記照射光として照射し、上記測距部は、上記拡散光が照射されたときに上記距離を測定してもよい。これにより、スポット光および拡散光のいずれかが照射されるという作用をもたらす。
また、この第１の側面において、上記照射部は、所定のボタンが半押しされた場合には上記照射光の照射を開始し、上記撮像部は、上記所定のボタンが全押しされた場合には上記画像データを撮像してもよい。これにより、ボタンの操作に従って、照射光の照射と撮像とが行われるという作用をもたらす。
また、この第１の側面において、上記電子装置は、ウェアラブル端末に取付けられるカメラユニットであってもよい。これにより、カメラユニットにおいて物体の表面上の立体座標が、基準平面上の平面座標に変換されるという作用をもたらす。
また、この第１の側面において、上記形状推定部は、上記距離に基づいて複数の候補形状のいずれかを上記物体の形状として推定してもよい。これにより、複数の候補形状のいずれかが物体の形状として推定されるという作用をもたらす。
また、この第１の側面において、上記形状推定部は、上記距離から上記複数の測定点のそれぞれの座標を測定座標として検出する座標検出部と、上記複数の候補形状のそれぞれについて当該候補形状の座標と所定の基準座標系における座標との間の関係を示す関数を上記測定座標を用いて取得する関数取得部と、上記取得された関数と上記測定座標とから上記複数の候補形状のそれぞれについて上記物体の形状を想定した際の誤差を演算する誤差演算部と、上記複数の候補形状のうち上記誤差の最も少ない形状を上記物体の形状として推定する推定処理部とを備えてもよい。これにより、複数の候補形状のうち誤差の最も少ない形状が物体の形状として推定されるという作用をもたらす。
また、この第１の側面において、上記画像データは、複数の画素データを含み、上記撮像部は、瞳分割された２つの像の位相差を検出する位相差検出画素と、光を光電変換して上記複数の画素データのいずれかを生成する通常画素とを備え、上記測距部は、上記位相差検出画素により検出された位相差から上記距離を測定してもよい。これにより、位相差検出画素により検出された位相差から距離が測定されるという作用をもたらす。
本技術によれば、画像を撮像する電子装置において、画像内の文字を正確に認識することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における電子装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における立体形状推定部の一構成例を示すブロック図である。 本技術の第１の実施の形態における距離情報の一例を示す図である。 本技術の第１の実施の形態における測定座標の一例を示す図である。 本技術の第１の実施の形態におけるパラメータの一例を示す図である。 本技術の第１の実施の形態における撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素回路の一構成例を示すブロック図である。 本技術の第１の実施の形態における座標変換部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるレーザ光の形状の一例を示す図である。 本技術の第１の実施の形態におけるＱ１Ｑ２検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態における撮像期間内の画素回路の露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態における基準座標系と平面座標系との関係の一例を示す図である。 本技術の第１の実施の形態における基準座標系と円柱座標系との関係の一例を示す図である。 本技術の第１の実施の形態における傾いた平面を撮像する際の電子装置の利用シーンの一例を示す図である。 本技術の第１の実施の形態における平面形状と変換前後の画像と翻訳結果の一例を示す図である。 本技術の第１の実施の形態における円柱を撮像する際の電子装置の利用シーンの一例を示す図である。 本技術の第１の実施の形態における円柱形状と変換前後の画像と翻訳結果の一例を示す図である。 本技術の第１の実施の形態における電子装置の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の変形例における撮像システムの一構成例を示すブロック図である。 本技術の第１の実施の形態の変形例における撮像システムの外観図の一例である。 本技術の第２の実施の形態における電子装置の一構成例を示すブロック図である。 本技術の第２の実施の形態における撮像素子の一構成例を示すブロック図である。 本技術の第２の実施の形態における電子装置の動作の一例を示すフローチャートである。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（形状を推定して座標変換を行う例）
２．第２の実施の形態（位相差検出画素で測距した結果から形状を推定して座標変換を行う例）
＜１．第１の実施の形態＞
［電子装置の構成例］
図１は、第１の実施の形態における電子装置１００の一構成例を示すブロック図である。この電子装置１００は、操作部１１１、制御部１１２、レーザ光照射部１１３、挿抜部１１４、拡散板１１５、立体形状推定部２００、測距部１１６、スイッチ１１７および撮像素子３００を備える。また、電子装置１００は、撮像レンズ１１８、座標変換部４００、光学文字認識部１１９、翻訳処理部１２０および音声出力部１２１を備える。
操作部１１１は、ボタンやスイッチに対するユーザの操作に従って操作信号を生成するものである。電子装置１００には、例えば、２段階に押し下げることのできるボタンが設けられる。操作部１１１は、そのボタンが押下されていない状態、半押しの状態、および、全押しの状態のいずれであるかを示す操作信号を生成して制御部１１２に供給する。
レーザ光照射部１１３は、制御部１１２の制御に従って、指向性を持たせた可視光（赤色光など）をレーザ光として所定の方向に照射するものである。レーザ光は、例えば、撮像レンズ１１８の光軸方向に略平行な方向に照射される。なお、レーザ光照射部１１３は、特許請求の範囲に記載の照射部の一例である。
挿抜部１１４は、制御部１１２の制御に従って、レーザ光の光路に拡散板１１５を挿入する処理、または、その光路から拡散板１１５を抜去する処理を行うものである。この挿抜部１１４は、モータなどのアクチュエータにより実現される。
拡散板１１５は、レーザ光を拡散するものである。拡散板１１５の挿入前においてレーザ光の形状はスポット状である。一方、拡散板１１５を挿入するとレーザ光は拡散して、例えば、円状となる。なお、拡散後のレーザ光の形状は、円に限定されず、線や三角形であってもよい。
また、レーザ光の形状の切替えは、例えば、サンワサプライ株式会社製のレーザポインタＬＰ−ＲＤ３１２ＢＫＮや、コクヨ株式会社製のレーザポインタＥＬＰ−Ｇ２０と同様のものをレーザ光照射部１１３として用いることにより実現することができる。
撮像レンズ１１８は、光を集光して撮像素子３００に導くものである。撮像素子３００は、制御部１１２の制御に従って、物体を撮像して画像データを生成するものである。この撮像素子３００には、二次元格子状に配列された複数の画素が配置される。画素のそれぞれは、受光量に応じたレベルの画素データを生成する。撮像素子３００は、それらの画素データを含む画像データをスイッチ１１７に供給する。なお、撮像レンズ１１８および撮像素子３００は、特許請求の範囲に記載の撮像部の一例である。
スイッチ１１７は、制御部１１２の制御に従って、撮像素子３００からの画像データの出力先を切り替えるものである。このスイッチ１１７は、測距部１１６および座標変換部４００のいずれかに画像データを出力する。
測距部１１６は、制御部１１２の制御に従って、物体上の複数の測定点のそれぞれについて、撮像素子３００から測定点のそれぞれまでの距離を測定するものである。ここで、測定点は、拡散されたレーザ光が照射された点である。この測距部１１６は、照射したレーザ光と、そのレーザ光に対する反射光との位相差から距離を測定する。この測距方式は、ＴｏＦ（Time of Flight）方式と呼ばれる。測距部１１６は、測定点毎の距離を示す距離情報を立体形状推定部２００に供給する。
立体形状推定部２００は、距離情報に基づいて、物体の形状を推定するものである。この立体形状推定部２００は、推定した物体の形状に関連するパラメータを座標変換部４００に供給する。このパラメータについての詳細は後述する。なお、立体形状推定部２００は、特許請求の範囲に記載の形状推定部の一例である。
座標変換部４００は、立体形状推定部２００からのパラメータを用いて、画像データに対して所定の座標変換を行うものである。この座標変換は、レーザ光が照射された物体の表面上の座標を、所定の基準平面上の座標に変換する処理である。例えば、撮像素子３００の像面に平行な（言い換えれば、正対した）平面が、基準平面として用いられる。座標変換部４００は、座標変換後の画像データを光学文字認識部１１９に供給する。
制御部１１２は、電子装置１００全体を制御するものである。所定のボタンが半押しされると制御部１１２は、レーザ光照射部１１３を制御して連続的なレーザ光の照射を開始させる。また、制御部１１２は、挿抜部１１４に拡散板１１５を抜去させる。
そして、ボタンが全押しされると制御部１１２は、レーザ光照射部１１３を制御して間欠的なレーザ光の照射を開始させる。例えば、制御部１１２は、矩形波やサイン波の発光制御信号ＣＬＫｐをレーザ光照射部１１３に供給し、レーザ光照射部１１３は、その信号に同期して発光する。この制御により、例えば、周波数が２０メガヘルツ（ＭＨｚ）のパルス光が照射される。
また、ボタンの全押し時に制御部１１２は、挿抜部１１４に拡散板１１５を挿入させる。さらに、制御部１１２は、撮像素子３００を制御して画像データを撮像させる。そして、スイッチ１１７を制御して画像データを測距部１１６に供給させ、一定の測距期間に亘って測距部１１６に測距を行わせる。
測距期間が経過すると、制御部１１２は、撮像素子３００を制御して、再度、画像データを撮像させる。また、制御部１１２は、スイッチ１１７を制御して画像データを座標変換部４００に供給させる。
光学文字認識部１１９は、画像データに対してＯＣＲを行うものである。光学文字認識部１１９は、ＯＣＲの結果を翻訳処理部１２０に供給する。
翻訳処理部１２０は、ＯＣＲで認識された文字からなる文章の言語（日本語など）を、他の所定の言語（英語など）に置き換える翻訳処理を行うものである。翻訳処理部１２０は、翻訳処理の結果を音声出力部１２１に供給する。音声出力部１２１は、翻訳処理部１２０の翻訳結果を音声で出力するものである。
なお、レーザ光照射部１１３や撮像素子３００などの各部を１つの装置（電子装置１００）内に設けているが、これらを複数の装置に分散して設けてもよい。例えば、レーザ光照射部１１３、挿抜部１１４および拡散板１１５を、電子装置１００に外付けする外部のレーザポインタユニット内に設けてもよい。また、光学文字認識部１１９や翻訳処理部１２０を、電子装置１００の外部の情報処理装置に設けてもよい。この場合には、電子装置１００は、画像データや文字情報を、その情報処理装置に送信し、ＯＣＲや翻訳の結果を受信すればよい。
また、電子装置１００は、ＯＣＲを行っているが、ＯＣＲ以外の処理を画像データに対して行ってもよい。例えば、電子装置１００は、特定の物体（顔など）や二次元バーコードの認識処理をＯＣＲの代わりに行ってもよい。また、電子装置１００は、翻訳結果を音声出力しているが、その翻訳結果を液晶モニタなどの表示部に表示してもよい。
［立体形状推定部の構成例］
図２は、第１の実施の形態における立体形状推定部２００の一構成例を示すブロック図である。この立体形状推定部２００は、測定座標保持部２１０、測定座標検出部２２０、距離情報保持部２３０、最小二乗法演算部２４０、パラメータ保持部２５０、誤差演算部２６０およびパラメータ供給部２７０を備える。
距離情報保持部２３０は、測距部１１６により測定された測定点毎の距離を示す距離情報を保持するものである。
測定座標検出部２２０は、距離情報に基づいて、所定の基準座標系における立体座標を測定点ごとに測定座標として検出するものである。この基準座標系として、例えば、撮像素子３００の像面に平行なＸ０軸およびＹ０軸と、像面に垂直なＺ０軸とからなる座標系が用いられる。測定座標検出部２２０は、拡散されたレーザ光の方向と所定の基準軸（Ｘ０、Ｙ０およびＺ０軸など）とのなす角度を予め取得しておき、その角度と測定された距離とから三角関数を用いて、測定点毎に測定座標を演算する。測定座標検出部２２０は、測定点毎の測定座標を測定座標保持部２１０に保持させる。以下、測定点の個数をＮ（Ｎは２以上の整数）個とし、ｉ（ｉは、０乃至Ｎ−１の整数）番目の測定点の測定座標を（ｘ０ｉ、ｙ０ｉ、ｚ０ｉ）とする。
最小二乗法演算部２４０は、最小二乗法を用いて、候補形状ごとに測定座標群に最もフィットする関数を演算するものである。複数の候補形状は、例えば、基準平面に対して傾いた平面形状と、円柱形状とを含む。また、ここで、演算により求められる関数は、候補形状の座標系における座標と、基準座標系における座標との間の関係を示す関数である。
ここで、互いに直交するＸｐ軸、Ｙｐ軸およびＺｐ軸からなる座標系を、傾いた平面の平面座標系とすると、この平面座標系上の座標と、基準座標系上の座標との間の関係は、例えば、次の式により表される。
Figure 2017203777
上式において、（ｘｐｉ、ｙｐｉ、ｚｐｉ）は、平面座標系における座標を示す。また、Ｒｐは、回転行列であり、次の式により表される。
Ｒｐ＝Ｒｘｐ・Ｒｙｐ・Ｒｚｐ
上式において、Ｒｘｐはｘ０軸周りに角度ｔｒｘｐだけ回転させる際の回転行列である。また、Ｒｙｐはｙ０軸周りに角度ｔｒｙｐだけ回転させる際の回転行列であり、Ｒｚｐはｚ０軸周りに角度ｔｒｚｐだけ回転させる際の回転行列である。
また、Ｔｐは、ｘ０成分、ｙ０成分、およびｚ０成分からなる平行移動ベクトルである。これらのｘ０成分、ｙ０成分、およびｚ０成分の値をＡ、ＢおよびＣとする。
ＸｐＹｐ平面上に測定点が位置する際には、その測定点の座標のＺｐ成分は零となるはずである。このため、Ｚｐ成分が零とならないときには、この成分は誤差として扱われる。次の式により、この誤差の二乗和Ｅｐが最小となるときのＲｐおよびＴｐが求められる。
Figure 2017203777
上式を解くために、例えば、上式の両辺をｔｒｘｐ、ｔｒｙｐ、ｔｒｚｐ、Ａ、ＢおよびＣのそれぞれで偏微分する偏微分法が用いられる。
次に、互いに直交するＸｃ軸、Ｙｃ軸およびＺｃ軸からなる座標系を円柱の円柱座標系とすると、この円柱座標系上の座標と、基準座標系上の座標との間の関係は、例えば、次の式により表される。
Figure 2017203777
上式において、（ｘｃｉ、ｙｃｉ、ｚｃｉ）は、円柱座標系における座標を示す。また、Ｒｃは、回転行列であり、次の式により表される。
Ｒｃ＝Ｒｘｃ・Ｒｙｃ・Ｒｚｃ
上式において、Ｒｘｃはｘ０軸周りに角度ｔｒｘｃだけ回転させる際の回転行列である。また、Ｒｙｃはｙ０軸周りに角度ｔｒｙｃだけ回転させる際の回転行列であり、Ｒｚｃはｚ０軸周りに角度ｔｒｚｃだけ回転させる際の回転行列である。ｒは円柱の半径である。
また、Ｔｃは、ｘ０成分、ｙ０成分、およびｚ０成分からなる平行移動ベクトルである。これらのｘ０成分、ｙ０成分、およびｚ０成分の値をＤ、ＥおよびＦとする。
ｒを円柱の半径とすると、円柱の表面上に測定点が位置する際は、その測定点のＸｃおよびＺｃ座標の二乗和は、ｒの二乗に等しくなるはずである。このため、これらの差分が零にならないときは、この差分は誤差として扱われる。次の式により、この誤差の二乗和Ｅｃが最小となるときのＲｃ、Ｔｃおよびｒが求められる。
Figure 2017203777
上式を解くために、例えば、上式の両辺をｔｒｘｃ、ｔｒｙｃ、ｔｒｚｃ、Ｄ、ＥおよびＦのそれぞれで偏微分する偏微分法が用いられる。
最小二乗法演算部２４０は、求めたＲｐおよびＴｐのパラメータ群とＲｃ、Ｔｃおよびｒのパラメータ群とをパラメータ保持部２５０に保持させる。
誤差演算部２６０は、候補形状ごとに、その候補形状に対応するパラメータを用いて、その形状を想定した際の誤差を演算するものである。この誤差演算部２６０は、例えば、式２および式４を用いて傾き平面形状に対応する誤差の二乗和Ｅｐと、円柱形状に対応する誤差の二乗和Ｅｃとを演算し、パラメータ供給部２７０に供給する。
パラメータ供給部２７０は、誤差に基づいて、複数の候補形状のいずれかを実際の物体の形状として推定するものである。このパラメータ供給部２７０は、誤差の二乗和ＥｐおよびＥｃを比較して、値の小さな方に対応する候補形状を物体の形状として推定する。そして、パラメータ供給部２７０は、その形状に対応するパラメータ群をパラメータ保持部２５０から読み出して、推定した形状の識別情報とともに座標変換部４００に供給する。なお、パラメータ供給部２７０は、特許請求の範囲に記載の推定処理部の一例である。
なお、立体形状推定部２００は、平面形状および円柱形状の２つの候補形状を想定して形状を推定しているが、候補形状の種類はこれらに限定されない。候補形状は、例えば、球や立方体であってもよい。また、候補形状の個数は２つに限定されず、３つ以上であってもよい。候補形状が３つ以上の場合にパラメータ供給部２７０は、誤差が最も少ない候補形状を物体の形状として推定する。
図３は、第１の実施の形態における距離情報の一例を示す図である。この距離情報は、測定点ごとに、撮像レンズ１１８から測定点までの距離を含む。例えば、測定点Ｐ１までの距離が１００メートルであり、測定点Ｐ２までの距離が１０２メートルであった場合には、立体形状推定部２００は、Ｐ１に対応する「１００」と、Ｐ２に対応する「１０２」とを距離情報保持部２３０内に保持する。
図４は、第１の実施の形態における測定座標の一例を示す図である。測定点までの距離と、レーザ光の照射角度とから、測定点ごとにＸ０、Ｙ０およびＺ０軸上の測定座標が算出される。測定点Ｐ１のＸ０座標、Ｙ０座標およびＺ０座標として５０、５０および５１が算出され、測定点Ｐ２のＸ０座標、Ｙ０座標およびＺ０座標として５０、５１および５１が算出されたものとする。この場合に、立体形状推定部２００は、測定点Ｐ１に対応する測定座標（５０、５０、５１）と測定点Ｐ２に対応する測定座標（５０、５１、５１）とを測定座標保持部２１０内に保持する。
図５は、第１の実施の形態におけるパラメータの一例を示す図である。平面形状に対応する式１の関数は、回転行列Ｒｐおよび平行移動ベクトルＴｐのパラメータを含み、円柱形状に対応する式２の関数は、回転行列Ｒｃおよび平行移動ベクトルＴｃおよび半径ｒのパラメータを含む。立体形状推定部２００は、最小二乗法により、これらのパラメータを算出してパラメータ保持部２５０内に保持する。
［撮像素子の構成例］
図６は、第１の実施の形態における撮像素子３００の一構成例を示すブロック図である。この撮像素子３００は、行走査回路３１０と、画素アレイ部３２０と、タイミング制御部３４０と、複数のＡＤ（Analog to Digital）変換部３５０と、列走査回路３６０と、信号処理部３７０とを備える。画素アレイ部３２０には、二次元格子状に複数の画素回路３３０が配置される。以下、所定の方向に配列された画素回路３３０の集合を「行」と称し、行に垂直な方向に配列された画素回路３３０の集合を「列」と称する。前述のＡＤ変換部３５０は、列ごとに設けられる。
タイミング制御部３４０は、垂直同期信号に同期して行走査回路３１０、ＡＤ変換部３５０および列走査回路３６０を制御するものである。
行走査回路３１０は、全行を同時に露光させ、露光終了後に行を順に選択して画素信号を出力させるものである。画素回路３３０は、行走査回路３１０の制御に従って、受光量に応じたレベルの画素信号を出力するものである。
ＡＤ変換部３５０は、対応する列からの画素信号をＡＤ変換するものである。このＡＤ変換部３５０は、列走査回路３６０の制御に従って、ＡＤ変換した画素信号を画素データとして信号処理部３７０に出力する。列走査回路３６０は、ＡＤ変換部３５０を順に選択して画素データを出力させるものである。
信号処理部３７０は、画素データからなる画像データに対して、ＣＤＳ(Correlated Double Sampling)処理などの信号処理を行うものである。この信号処理部３７０は、信号処理後の画像データをスイッチ１１７に供給する。
［画素回路の構成例］
図７は、第１の実施の形態における画素回路３３０の一構成例を示すブロック図である。この画素回路３３０は、受光素子３３１と、転送スイッチ３３２と、電荷蓄積部３３３および３３４と、選択スイッチ３３５および３３６とを備える。
受光素子３３１は、光を光電変換して電荷を生成するものである。この受光素子３３１として、例えば、フォトダイオードが用いられる。
転送スイッチ３３２は、行走査回路３１０の制御に従って受光素子３３１を電荷蓄積部３３３、電荷蓄積部３３４およびリセット電源Ｖｒｓｔのいずれかに接続するものである。この転送スイッチ３３２は、例えば、複数のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどにより実現される。リセット電源Ｖｒｓｔに接続された際において、ＭＯＳトランジスタのドレインから出力された電荷は破棄され、受光素子３３１の電荷が初期化される。
電荷蓄積部３３３および３３４は、電荷を蓄積して、その蓄積量に応じた電圧を生成するものである。これらの電荷蓄積部３３３および３３４として、例えば、浮遊拡散層が用いられる。
選択スイッチ３３５は、行走査回路３１０の制御に従って、電荷蓄積部３３３とＡＤ変換部３５０との間の線路を開閉するものである。選択スイッチ３３６は、行走査回路３１０の制御に従って、電荷蓄積部３３４とＡＤ変換部３５０との間の線路を開閉するものである。例えば、行走査回路３１０によりＦＤ読出し信号ＲＤ_ＦＤ１が供給された際に選択スイッチ３３５が閉状態に遷移し、行走査回路３１０によりＦＤ読出し信号ＲＤ_ＦＤ２が供給された際に選択スイッチ３３６が閉状態に遷移する。これらの選択スイッチ３３５および３３６のそれぞれは、例えば、ＭＯＳトランジスタなどにより実現される。
［座標変換部の構成例］
図８は、第１の実施の形態における座標変換部４００の一構成例を示すブロック図である。この座標変換部４００は、切り出し処理部４２０、フレームメモリ４１０およびアドレス変換部４３０を備える。
切り出し処理部４２０は、画像データにおいて、円状のレーザ光で囲まれた部分を含む所定形状（例えば、長方形）の領域を切り出すものである。この切り出し処理部４２０は、切り出した領域を切り出し領域としてフレームメモリ４１０に保持させる。フレームメモリ４１０は、切り出し領域を保持するものである。
アドレス変換部４３０は、切り出し領域内の画素のそれぞれについて、その座標を基準平面上の座標に変換するものである。この座標変換部４００は、立体形状推定部２００により推定された形状の識別情報と、その形状のパラメータ群とを受け取る。平面形状であると推定された場合には式１の回転行列Ｒｐおよび平行移動ベクトルＴｐがパラメータとして座標変換部４００に供給される。一方、立体形状であると推定された場合には式２の回転行列Ｒｃ、平行移動ベクトルＴｃおよび半径ｒがパラメータとして座標変換部４００に供給される。
平面形状であると推定された場合に、撮像素子３００上の座標（ｕｉ、ｖｉ）と、傾いた平面上の座標（ｘｅｉ、ｙｅｉ）との間の位置関係はパラメータＲｐおよびＴｐを用いて次の式により表される。
Figure 2017203777
上式においてｆは、焦点距離である。アドレス変換部４３０は、上式を用いてフレームメモリ４１０に保持された画像（切り出し領域）において座標（ｕｉ、ｖｉ）の画素値を基準平面上の座標（ｘｅｉ、ｙｅｉ）の画素値として出力する。これにより、アドレス変換部４３０は、像面に正対した画像を生成することができる。
一方、円柱形状であると推定された場合に、撮像素子３００上の座標（ｕｉ、ｖｉ）と円柱上の座標（ｘｅｉ、ｙｅｉ）との間の位置関係はパラメータＲｐ、Ｔｐおよびｒを用いて次の式により表される。
Figure 2017203777
アドレス変換部４３０は、上式を用いてフレームメモリ４１０に保持された画像において座標（ｕｉ、ｖｉ）の画素値を基準平面上の座標（ｘｅｉ、ｙｅｉ）の画素値として出力する。これにより、アドレス変換部４３０は、像面に正対した画像を生成することができる。
なお、座標変換部４００は、レーザ光で囲まれた部分の周辺のみを切り出して座標変換を行っているが、切り出しを行わずに画像全体に対して座標変換を行ってもよい。
図９は、第１の実施の形態におけるレーザ光の形状の一例を示す図である。同図におけるａは、ボタンを半押しした際のレーザ光の形状の一例を示す図である。同図におけるａに例示するように、ボタンを半押しすると、拡散板１１５が抜去された状態でスポット状のレーザ光５００が照射される。
また、図９におけるｂは、ボタンを全押しした際のレーザ光の形状の一例を示す図である。同図におけるｂに例示するように、ボタンを全押しすると、拡散板１１５が挿入され、円状のレーザ光５０１が照射される。ユーザは、ＯＣＲ対象の文字（値札の文字など）がレーザ光の円内に入るように、レーザ光の照射位置を調整する。
なお、ＴｏＦ方式では、測距対象の面全体にレーザ光を照射する面照射が一般的である。しかしながら、ＯＣＲ対象の部分のみを測距するのであれば、電子装置１００は、面全体を照射する必要はなく、その部分のみにレーザ光を照射すれば十分である。レーザ光の照射範囲を絞ることにより、面全体に照射する場合よりも電子装置１００の消費電力を抑制することができる。
また、ＴｏＦ方式では、赤外光など、可視光でない光を照射するのが一般的である。しかしながら、想定される電子装置１００の利用シーンでは、レーザ光の照射位置をユーザが視認する必要があるため、電子装置１００は、赤色光などの可視光を照射している。可視光を用いる場合も、ＴｏＦによる測距原理は、赤外光と同様である。
図１０は、第１の実施の形態におけるＱ１Ｑ２検出期間内の画素回路の露光制御の一例を示すタイミングチャートである。ボタンが全押しされると、画素回路３３０は、受光量Ｑ１およびＱ２の検出と、受光量Ｑ３およびＱ４の検出とを交互に繰り返し行う。以下、受光量Ｑ１およびＱ２の検出期間を「Ｑ１Ｑ２検出期間」と称し、受光量Ｑ３およびＱ４の検出期間を「Ｑ３Ｑ４検出期間」と称する。Ｑ１Ｑ２検出期間およびＱ３Ｑ４検出期間のそれぞれの長さは、垂直同期信号ＶＳＹＮＣの周期（例えば、１／６０秒）である。
ここで、受光量Ｑ１は、レーザ光の発光制御信号ＣＬＫｐの特定の位相（例えば、立上り）を０度として、０度から１８０度までの受光量ｑ１をＱ１Ｑ２検出期間に亘って累積したものである。発光制御信号ＣＬＫｐの周波数は２０メガヘルツ（ＭＨｚ）と高いため、その１周期（１／２０マイクロ秒）当たりの受光量ｑ１は非常に少なく、検出が困難である。このため、画素回路３３０は、発光制御信号ＣＬＫｐの周期（１／２０マイクロ秒）より長い１／６０秒などのＱ１Ｑ２検出期間に亘って、ｑ１のそれぞれを累積し、その総量を受光量Ｑ１として検出する。また、受光量Ｑ２は、１８０度から３６０度までの反射光の受光量ｑ２をＱ１Ｑ２検出期間に亘って累積したものである。
また、受光量Ｑ３は、９０度から２７０度までの反射光の受光量ｑ３をＱ３Ｑ４検出期間に亘って累積したものである。また、受光量Ｑ４は、２７０度から９０度までの反射光の受光量ｑ４をＱ３Ｑ４検出期間に亘って累積したものである。
これらの受光量Ｑ１、Ｑ２、Ｑ３およびＱ４を次の式に代入することにより、測距部１１６は、測定点までの距離ｄを算出することができる。この式の導出方法は、例えば、「Larry Li、"Time-of-Flight Camera - An Introduction"、テキサスインスツルメンツ、Technical White Paper SLOA190B January 2014 Revised May 2014」に記載されている。
ｄ＝（ｃ／４πｆ）×ｔａｎ−１｛（Ｑ３−Ｑ４）／（Ｑ１−Ｑ２）｝
上式においてｄは距離であり、単位は、例えば、メートル（ｍ）である。ｃは光速であり、単位は、例えば、メートル毎秒（ｍ／ｓ）である。ｔａｎ−１（）は、正接関数の逆関数を示す。
例えば、タイミングＴ１からタイミングＴ２までのＱ１Ｑ２検出期間において、その期間の受光量Ｑ１およびＱ２が検出される。まず、行走査回路３１０は、タイミングＴ１から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給する。このリセット信号ＲＳＴにより、全行の電荷蓄積部３３３および３３４の電荷蓄積量が初期化される。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
そして、行走査回路３１０は、Ｑ１Ｑ２検出期間において、発光制御信号ＣＬＫｐの周期内の０度から１８０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。この制御により、電荷蓄積部３３３に受光量ｑ１が蓄積される。
また、行走査回路３１０は、Ｑ１Ｑ２検出期間において、発光制御信号ＣＬＫｐの周期内の１８０度から３６０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ２が蓄積される。
そして、タイミングＴ２の直前のタイミングＴ１１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の受光量Ｑ１およびＱ２に応じた画素信号が読み出される。次に、行走査回路３１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給して画素信号を読み出す。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。
このように、Ｑ１Ｑ２検出期間において画素回路３３０のそれぞれは、０度から１８０度までの受光量Ｑ１と、１８０度から３６０度までの受光量Ｑ２とを検出する。
図１１は、第１の実施の形態におけるＱ３Ｑ４検出期間内の画素回路３３０の露光制御の一例を示すタイミングチャートである。例えば、タイミングＴ２からタイミングＴ３までのＱ３Ｑ４検出期間において、その期間の受光量Ｑ３およびＱ４が検出される。まず、行走査回路３１０は、タイミングＴ２から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積部３３３および３３４の電荷蓄積量を初期化する。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
そして、行走査回路３１０は、最初の０度から９０度において、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ４が蓄積される。以降において行走査回路３１０は、発光制御信号ＣＬＫｐの周期内の９０度から２７０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。この制御により、電荷蓄積部３３３に受光量ｑ３が蓄積される。
また、行走査回路３１０は、Ｑ３Ｑ４検出期間において、発光制御信号ＣＬＫｐの周期内の２７０度から９０度までに亘って全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３４に転送させる。この制御により、電荷蓄積部３３４に受光量ｑ４が蓄積される。
そして、タイミングＴ３の直前のタイミングＴ２１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１およびＲＤ_ＦＤ２を順に供給する。この制御により、１行目の受光量Ｑ３およびＱ４に応じた画素信号が読み出される。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。
このように、Ｑ３Ｑ４検出期間において画素回路３３０のそれぞれは、９０度から２７０度までの受光量Ｑ３と、２７０度か９０度までの受光量Ｑ４とを検出する。
図１２は、第１の実施の形態における撮像期間内の画素回路３３０の露光制御の一例を示すタイミングチャートである。まず、行走査回路３１０は、タイミングＴ３から所定のパルス期間に亘ってリセット信号ＲＳＴを全行に供給し、全行の電荷蓄積量を初期化する。また、行走査回路３１０は、ＦＤ選択信号ＳＥＬ_ＦＤにより、全行の受光素子３３１の電荷を初期化する。
そして、行走査回路３１０は、全行についてＦＤ選択信号ＳＥＬ_ＦＤにより受光素子３３１が生成した電荷を電荷蓄積部３３３に転送させる。続いてタイミングＴ４の直前のタイミングＴ３１において行走査回路３１０は、１行目にＦＤ読出し信号ＲＤ_ＦＤ１を供給して画素信号を読み出す。次に、行走査回路３１０は、２行目にＦＤ読出し信号ＲＤ_ＦＤ１を供給して画素信号を読み出す。以下、同様に行走査回路３１０は、行を順に選択して画素信号を読み出す。これにより、画像データが撮像される。
図１３は、第１の実施の形態における基準座標系と平面座標系との関係の一例を示す図である。前述したように、Ｘ０軸、Ｙ０軸およびＺ０軸からなる基準座標系をＲｐおよびＴｐにより回転および平行移動させた、Ｘｐ軸、Ｙｐ軸およびＺｐ軸からなる平面座標系を想定する。この想定に基づいて電子装置１００は、測定点５０２および５０３などのＮ個の測定点が、ＸｐＹｐ平面５１０に位置すると仮定して誤差の二乗和Ｅｐを算出する。
図１４は、第１の実施の形態における基準座標系と円柱座標系との関係の一例を示す図である。前述したように、Ｘ０軸、Ｙ０軸およびＺ０軸からなる基準座標系をＲｃおよびＴｃにより回転および平行移動させた、Ｘｃ軸、Ｙｃ軸およびＺｃ軸からなる円柱座標系を想定する。この想定に基づいて電子装置１００は、測定点５０２および５０３などのＮ個の測定点が、円柱５１１の表面上に位置すると仮定して誤差Ｅｃを算出する。
図１５は、第１の実施の形態における傾いた平面を撮像する際の電子装置１００の利用シーンの一例を示す図である。同図におけるａは、ボタンを半押しした際のレーザ光の形状の一例を示す図である。同図におけるａに例示するように、ボタンを半押しするとスポット状のレーザ光５００が照射される。ここで、電子装置１００は、例えば、スティック状の装置であり、ユーザは、その電子装置１００を手に把持して、レーザ光の向きを変えることができる。ユーザは、レーザ光５００の照射点を移動させ、ＯＣＲ対象の文字の位置でボタンを全押しする。例えば、魚の切り身に平面状の値札がついており、その値札の文字をＯＣＲで読み取る際に、ユーザは、その値札にレーザ光５００の照射点を移動させる。この値札の平面が、図１３の平面５１０に対応する。
図１５におけるｂは、ボタンを全押しした際のレーザ光の形状の一例を示す図である。同図におけるｂに例示するように、ボタンを全押しすると円状のレーザ光５０１が値札（平面５１０）に照射される。
図１６は、第１の実施の形態における平面形状と変換前後の画像と翻訳結果の一例を示す図である。同図におけるａは、候補となる平面形状の一例を示す図である。色の濃淡は、奥行きを表す。例えば、撮像素子３００の像面に対して傾いた平面が想定される。
図１６におけるｂは、撮像した画像データのうち、レーザ光が照射された部分の一例を示す。「サーモン」および「１００円」の文字列が値札に記載されているが、値札の平面が像面に正対していないため、文字が歪んでいる。このため、このままでは、ＯＣＲで正確に文字を読み取ることができないおそれがある。
そこで、電子装置１００は、傾いた平面上の座標を基準平面上の座標に変換する。図１６におけるｃは、座標変換後の画像の一例である。同図におけるｃに例示するように、像面に正対していない平面が、正対する基準平面に変換され、文字の歪みが無くなっている。電子装置１００は、ＯＣＲにより、変換後の画像内の文字を読み取り、翻訳を行う。
図１６におけるｄは、翻訳結果の一例を示す図である。日本語の「サーモン」および「１００円」は、英語の「Salmon」および「One hundred yen」に翻訳され、音声出力される。
図１７は、第１の実施の形態における、円柱形状の物体を撮像する際の電子装置１００の利用シーンの一例を示す図である。同図におけるａは、ボタンを半押しした際のレーザ光の形状の一例を示す図である。例えば、ワインボトルの円柱の部分にラベルが貼り付けられており、そのラベルの文字をＯＣＲで読み取らせたい場合にユーザは、そのラベルにレーザ光５００の照射点を移動させる。このワインボトルの円柱部分が、図１４の円柱５１１に対応する。
図１７におけるｂは、ボタンを全押しした際のレーザ光の形状の一例を示す図である。同図におけるｂに例示するように、ボタンを全押しすると円状のレーザ光５０１がラベル（円柱５１１）に照射される。
図１８は、第１の実施の形態における円柱形状と変換前後の画像と翻訳結果の一例を示す図である。同図におけるａｂは、候補となる円柱形状の一例を示す図である。
図１８におけるｂは、撮像した画像データのうち、レーザ光が照射された部分の一例を示す。「酸化防止剤無添加のおいしいワイン」の文字列がラベルに記載されているが、ラベルの面が湾曲しているため、文字が歪んでいる。このため、このままでは、ＯＣＲで正確に文字を読み取ることができないおそれがある。
そこで、電子装置１００は、円柱上の座標を基準平面上の座標に変換する。図１８におけるｃは、座標変換後の画像の一例である。同図におけるｃに例示するように、円柱上の湾曲した面が基準平面に変換され、文字の歪みが無くなっている。電子装置１００は、ＯＣＲにより、変換後の画像内の文字を読み取り、翻訳を行う。
図１８におけるｄは、翻訳結果の一例を示す図である。日本語の「酸化防止剤無添加のおいしいワイン」は、英語の「Antioxidant free nice wine」に翻訳され、音声出力される。
［電子装置の動作例］
図１９は、第１の実施の形態における電子装置１００の動作の一例を示すフローチャートである。この動作は、例えば、電子装置１００に電源が投入されたときに開始する。電子装置１００は、ユーザによりボタンが半押しされたか否かを判断する（ステップＳ９０１）。ボタンが半押しされた場合に（ステップＳ９０１：Ｙｅｓ）、電子装置１００は、拡散板を抜去し（ステップＳ９０２）、スポット状のレーザ光を照射する（ステップＳ９０３）。そして、電子装置１００は、ユーザによりボタンが全押しされたか否かを判断する（ステップＳ９０４）。
ボタンが半押しされていない場合（ステップＳ９０１：Ｎｏ）、または、ボタンが全押しされていない場合（ステップＳ９０４：Ｎｏ）、電子装置１００は、ステップＳ９０１以降を繰り返し実行する。
ボタンが全押しされた場合に（ステップＳ９０４：Ｙｅｓ）、電子装置１００は、拡散板を挿入し（ステップＳ９０５）、円状のレーザ光の照射と、その反射光の受光とを行う（ステップＳ９０６）。電子装置１００は、測定点毎にＴｏＦ方式で測距を行い（ステップＳ９０７）、測定された距離に基づいて物体の立体形状を推定する（ステップＳ９０８）。
そして、電子装置１００は、物体を撮像し（ステップＳ９０９）、画像データに対して座標変換を行う（ステップＳ９１０）。電子装置１００は、座標変換した画像において光学文字認識を行い（ステップＳ９１１）、翻訳および音声出力を行う（ステップＳ９１２）。ステップＳ９１２の後に、電子装置１００は、ＯＣＲのための動作を終了する。
このように、本技術の第１の実施の形態によれば、電子装置１００は、測定点までの距離から物体の形状を推定し、その形状に基づいて座標変換を行うため、文字の歪みを無くしてＯＣＲの精度を向上させることができる。
［変形例］
上述の第１の実施の形態では、スティック状の電子装置１００内に、操作部１１１や撮像素子３００などを設けていたが、ウェアラブル端末に装着されるカメラユニットに、操作部１１１等を設けてもよい。この第１の実施の形態の変形例における撮像システムは、ウェアラブル端末に装着されるカメラユニットに、操作部１１１等を設けた点において第１の実施の形態と異なる。
図２０は、撮像システムの一構成例を示すブロック図である。この撮像システムは、ウェアラブル端末１５０とカメラユニット１０１とを備える。また、ウェアラブル端末１５０は、操作部１５１および端末制御部１５２を備える。また、カメラユニット１０１の構成は、制御部１１２およびスイッチ１１７の代わりにカメラユニット制御部１２２およびスイッチ１２３を備える点以外は、第１の実施の形態の電子装置１００と同様である。なお、カメラユニット１０１は、特許請求の範囲に記載の電子装置の一例である。
操作部１５１は、スイッチやボタンに対するユーザの操作に従って操作信号を生成するものである。例えば、画像データを撮像させるための操作（シャッターボタンの押下など）が行われる。操作部１５１は、生成した操作信号を端末制御部１５２に供給する。
端末制御部１５２は、ウェアラブル端末１５０全体を制御するものである。この端末制御部１５２は、操作信号をカメラユニット制御部１２２に供給し、カメラユニット制御部１２２から画像データなどを受け取る。
カメラユニット制御部１２２は、カメラユニット１０１全体を制御するものである。このカメラユニット制御部１２２は、ウェアラブル端末１５０にカメラユニット１０１が装着されていない場合に、第１の実施の形態と同様の制御を行う。一方、ウェアラブル端末１５０にカメラユニット１０１が装着されている場合に、カメラユニット制御部１２２は、画像データを撮像させるための操作（シャッターボタンの押下など）が行われたか否かを判断する。シャッターボタンが押下されると、カメラユニット制御部１２２はスイッチ１２３を制御して画像データをウェアラブル端末１５０に出力させる。
スイッチ１２３は、カメラユニット制御部１２２の制御に従って、画像データの出力先を切り替えるものである。
図２１は、第１の実施の形態の変形例における撮像システムの外観図の一例である。ウェアラブル端末１５０は、眼鏡型の端末であり、カメラユニット１０１を連結具１５５により側面に取付けることができる。この端末のレンズ部分は、同図において省略されている。連結具１５５として、例えば、特表２０１５−５１５６３８号公報の図１や図２に記載のものを用いることができる。
カメラユニット１０１は、ウェアラブル端末１５０から取り外した状態でも動作する。単体のカメラユニット１０１の機能は、第１の実施の形態の電子装置１００と同様である。
また、ウェアラブル端末１５０には、遮蔽部材１５６が設けられる。この遮蔽部材１５６は、カメラユニット１０１が取り付けられた際に、カメラユニット１０１からのレーザ光を遮蔽するものである。ただし、撮像素子３００への入射光は遮蔽されない。
例えば、カメラユニット１０１の下部にレーザ光照射部１１３が配置され、上部に撮像素子３００が配置されるものとする。この場合に遮蔽部材１５６は、カメラユニットの１０１の下部のみを遮蔽する。これにより、レーザ光のみがマスクされる。測距が不要な状況でレーザ光を遮蔽することにより、撮像した画像データにレーザ光が写ることを防止することができる。これにより、撮像システムの利便性を向上させることができる。
カメラユニット１０１は、ウェアラブル端末１５０に装着された状態では、測距を行わず、画像データの撮像などを行う。ウェアラブル端末１５０は、その画像データを解析して、端末のヘッドアップディスプレイに所定の情報を表示する。例えば、現在の位置情報や、認識した物体に合成する画像などが表示される。
このように、本技術の第１の実施の形態の変形例によれば、ウェアラブル端末１５０に装着時に遮蔽部材１５６がレーザ光を遮蔽するため、撮像した画像データにレーザ光が写ることを防止することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、ＴｏＦ方式で測距を行っていたが、このＴｏＦ方式では
レーザ光を照射する部品が必要となるため、その分、コストの低減や小型化が困難となる。この第２の実施の形態の電子装置１００は、小型化およびコストの低減を実現した点において第１の実施の形態と異なる。
図２２は、第２の実施の形態における電子装置１００の一構成例を示すブロック図である。この第２の実施の形態の電子装置１００としては、デジタル一眼レフレックスカメラなどのデジタルカメラが想定される。また、第２の実施の形態の電子装置１００は、レーザ光照射部１１３の代わりに表示部１２３をさらに備える点において第１の実施の形態と異なる。
また、第２の実施の形態の撮像素子３００は、瞳分割された一対の像の位相差を検出する位相差検出画素と、通常画素とが配置される。
制御部１１２は、シャッターボタンなどのボタンが半押しされると、撮像素子３００を制御して解像度が比較的低い画像をライブビュー画像として垂直同期信号に同期して撮像させる。そして、制御部１１２は、スイッチ１１７を制御して、ライブビュー画像を表示部１２３に供給させる。
また、ボタンが全押しされると制御部１１２は、ライブビュー画像より解像度の高い画像データを撮像素子３００に撮像させる。そして、制御部１１２は、スイッチ１１７を制御して、画像データを測距部１１６に供給させる。
表示部１２３は、画像データを表示するものである。この表示部１２３は、例えば、液晶モニタなどにより実現される。
測距部１１６は、位相差画素の画素信号から距離を測定し、画像データと距離情報とを立体形状推定部２００に供給する。この画像データにおいて、位相差画素の位置の画素値は、周囲の画素から補間される。座標変換部４００以降の処理は、第１の実施の形態と同様である。
なお、電子装置１００は、測距情報を立体形状の推定に用いているが、この測距情報はＡＦ（Auto Focus）にも用いられる。図２２において、測距情報に基づいてフォーカスレンズの位置を制御するＡＦ制御部は省略されている。
図２３は、第２の実施の形態における撮像素子３００の一構成例を示すブロック図である。この第２の実施の形態の撮像素子３００は、画素回路３３０の代わりに、通常画素回路３８０および位相差検出画素回路３９０が設けられる点において第１の実施の形態と異なる。
通常画素回路３８０は、Ｒ（Red）、Ｇ(Green)およびＢ(Blue)などの可視光を光電変換して画素信号を生成する画素である。位相差検出画素回路３９０は、瞳分割された一対の像の位相差を検出するための画素である。このように、位相差検出のための画素が像面に配置され、その画素の信号から距離を測定する方式は、像面位相差方式と呼ばれる。このような像面位相差方式の撮像素子３００の構造は、例えば、特開２０１２−１２４７９１号公報に搭載されている。
図２４は、第２の実施の形態における電子装置１００の動作の一例を示すフローチャートである。電子装置１００は、ユーザによりボタンが半押しされたか否かを判断する（ステップＳ９０１）。ボタンが半押しされた場合に（ステップＳ９０１：Ｙｅｓ）、電子装置１００は、ライブビュー画像を撮像して表示する（ステップＳ９２１）。ユーザは、ライブビュー画像を視認しながら、ＯＣＲ対象の文字が、モニタ（表示部１２３）内に収まるように電子装置１００の向きを調整する。調整後にユーザは、ボタンを全押しする。
そして、電子装置１００は、ユーザによりボタンが全押しされたか否かを判断する（ステップＳ９０４）。ボタンが全押しされると、電子装置１００は、画像データを撮像するとともに、位相差検出画素回路３９０で検出された位相差から測定点ごとに距離を求める（ステップＳ９２２）。また、電子装置１００は、立体形状を推定し（ステップＳ９０８）、画像データにおいて位相差画素を補間する（ステップＳ９２３）。そして電子装置１００は、ステップＳ９１０以降を実行する。
このように、本技術の第２の実施の形態によれば、位相差検出画素で検出された位相差から距離を測定するため、レーザ光照射部１１３や拡散板１１５を設ける必要が無くなり、部品点数を削減することができる。これにより、小型化やコストの低減が容易となる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、本技術は以下のような構成もとることができる。
（１）物体を撮像して画像データを撮像する撮像部と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距部と、
前記測定された距離から前記物体の形状を推定する形状推定部と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換部と
を具備する電子装置。
（２）前記座標変換が行われた画像データにおいて前記物体の表面上の文字を認識する文字認識部をさらに具備する
前記（１）記載の電子装置。
（３）照射光を照射する照射部をさらに具備し、
前記測距部は、前記照射光に対する反射光と前記照射光との位相差から前記距離を測定する前記（１）または記載の電子装置。
（４）前記撮像部は、前記画像データを撮像する処理と前記照射光を受光する処理とを行う
前記（３）記載の電子装置。
（５）前記照射部は、所定の周期信号に同期したパルス光を前記照射光として照射する
前記（３）または（４）に記載の電子装置。
（６）前記照射部は、スポット光および拡散光のいずれかを所定の操作に従って選択して前記照射光として照射し、
前記測距部は、前記拡散光が照射されたときに前記距離を測定する
前記（３）から（５）のいずれかに記載の電子装置。
（７）前記照射部は、所定のボタンが半押しされた場合には前記照射光の照射を開始し、
前記撮像部は、前記所定のボタンが全押しされた場合には前記画像データを撮像する
前記（３）から（６）のいずれかに記載の電子装置。
（８）前記電子装置は、ウェアラブル端末に取付けられるカメラユニットである
前記（１）から（７）のいずれかに記載の電子装置。
（９）前記形状推定部は、前記距離に基づいて複数の候補形状のいずれかを前記物体の形状として推定する
前記（１）から（８）のいずれかに記載の電子装置。
（１０）前記形状推定部は、
前記距離から前記複数の測定点のそれぞれの座標を測定座標として検出する座標検出部と、
前記複数の候補形状のそれぞれについて当該候補形状の座標と所定の基準座標系における座標との間の関係を示す関数を前記測定座標を用いて取得する関数取得部と、
前記取得された関数と前記測定座標とから前記複数の候補形状のそれぞれについて前記物体の形状を想定した際の誤差を演算する誤差演算部と、
前記複数の候補形状のうち前記誤差の最も少ない形状を前記物体の形状として推定する推定処理部と
を備える前記（９）記載の電子装置。
（１１）前記画像データは、複数の画素データを含み、
前記撮像部は、
瞳分割された２つの像の位相差を検出する位相差検出画素と、
光を光電変換して前記複数の画素データのいずれかを生成する通常画素と
を備え、
前記測距部は、前記位相差検出画素により検出された位相差から前記距離を測定する
前記（１）または（２）に記載の電子装置。
（１２）撮像部が、物体を撮像して画像データを撮像する撮像手順と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
前記測定された距離から前記物体の形状を推定する形状推定手順と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
を具備する電子装置の制御方法。
（１３）撮像部が、物体を撮像して画像データを撮像する撮像手順と、
前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
前記測定された距離から前記物体の形状を推定する形状推定手順と、
前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
をコンピュータに実行させるためのプログラム。
１００ 電子装置
１０１ カメラユニット
１１１、１５１ 操作部
１１２ 制御部
１１３ レーザ光照射部
１１４ 挿抜部
１１５ 拡散板
１１６ 測距部
１１７、１２３ スイッチ
１１８ 撮像レンズ
１１９ 光学文字認識部
１２０ 翻訳処理部
１２１ 音声出力部
１２２ カメラユニット制御部
１２３ 表示部
１５０ ウェアラブル端末
１５２ 端末制御部
１５５ 連結具
１５６ 遮蔽部材
２００ 立体形状推定部
２１０ 測定座標保持部
２２０ 測定座標検出部
２３０ 距離情報保持部
２４０ 最小二乗法演算部
２５０ パラメータ保持部
２６０ 誤差演算部
２７０ パラメータ供給部
３００ 撮像素子
３１０ 行走査回路
３２０ 画素アレイ部
３３０ 画素回路
３３１ 受光素子
３３２ 転送スイッチ
３３３、３３４ 電荷蓄積部
３３５、３３６ 選択スイッチ
３４０ タイミング制御部
３５０ ＡＤ変換部
３６０ 列走査回路
３７０ 信号処理部
３８０ 通常画素回路
３９０ 位相差検出画素回路
４００ 座標変換部
４１０ フレームメモリ
４２０ 切り出し処理部
４３０ アドレス変換部

Claims (13)

  1. 物体を撮像して画像データを撮像する撮像部と、
    前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距部と、
    前記測定された距離から前記物体の形状を推定する形状推定部と、
    前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換部と
    を具備する電子装置。
  2. 前記座標変換が行われた画像データにおいて前記物体の表面上の文字を認識する文字認識部をさらに具備する
    請求項１記載の電子装置。
  3. 照射光を照射する照射部をさらに具備し、
    前記測距部は、前記照射光に対する反射光と前記照射光との位相差から前記距離を測定する請求項１記載の電子装置。
  4. 前記撮像部は、前記画像データを撮像する処理と前記照射光を受光する処理とを行う
    請求項３記載の電子装置。
  5. 前記照射部は、所定の周期信号に同期したパルス光を前記照射光として照射する
    請求項３記載の電子装置。
  6. 前記照射部は、スポット光および拡散光のいずれかを所定の操作に従って選択して前記照射光として照射し、
    前記測距部は、前記拡散光が照射されたときに前記距離を測定する
    請求項３記載の電子装置。
  7. 前記照射部は、所定のボタンが半押しされた場合には前記照射光の照射を開始し、
    前記撮像部は、前記所定のボタンが全押しされた場合には前記画像データを撮像する
    請求項３記載の電子装置。
  8. 前記電子装置は、ウェアラブル端末に取付けられるカメラユニットである
    請求項１記載の電子装置。
  9. 前記形状推定部は、前記距離に基づいて複数の候補形状のいずれかを前記物体の形状として推定する
    請求項１記載の電子装置。
  10. 前記形状推定部は、
    前記距離から前記複数の測定点のそれぞれの座標を測定座標として検出する座標検出部と、
    前記複数の候補形状のそれぞれについて当該候補形状の座標と所定の基準座標系における座標との間の関係を示す関数を前記測定座標を用いて取得する関数取得部と、
    前記取得された関数と前記測定座標とから前記複数の候補形状のそれぞれについて前記物体の形状を想定した際の誤差を演算する誤差演算部と、
    前記複数の候補形状のうち前記誤差の最も少ない形状を前記物体の形状として推定する推定処理部と
    を備える請求項９記載の電子装置。
  11. 前記画像データは、複数の画素データを含み、
    前記撮像部は、
    瞳分割された２つの像の位相差を検出する位相差検出画素と、
    光を光電変換して前記複数の画素データのいずれかを生成する通常画素と
    を備え、
    前記測距部は、前記位相差検出画素により検出された位相差から前記距離を測定する
    請求項１記載の電子装置。
  12. 撮像部が、物体を撮像して画像データを撮像する撮像手順と、
    前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
    前記測定された距離から前記物体の形状を推定する形状推定手順と、
    前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
    を具備する電子装置の制御方法。
  13. 撮像部が、物体を撮像して画像データを撮像する撮像手順と、
    前記撮像部から前記物体の表面上の複数の測定点のそれぞれまでの距離を測定する測距手順と、
    前記測定された距離から前記物体の形状を推定する形状推定手順と、
    前記推定された形状に基づいて前記物体の表面上の立体座標を所定の基準平面上の平面座標に変換する座標変換を前記画像データに対して行う座標変換手順と
    をコンピュータに実行させるためのプログラム。
JP2017560634A 2016-05-23 2017-02-28 電子装置、電子装置の制御方法、および、プログラム Active JP6904261B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016102584 2016-05-23
JP2016102584 2016-05-23
PCT/JP2017/007827 WO2017203777A1 (ja) 2016-05-23 2017-02-28 電子装置、電子装置の制御方法、および、プログラム

Publications (2)

Publication Number Publication Date
JPWO2017203777A1 true JPWO2017203777A1 (ja) 2019-03-22
JP6904261B2 JP6904261B2 (ja) 2021-07-14

Family

ID=60412243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017560634A Active JP6904261B2 (ja) 2016-05-23 2017-02-28 電子装置、電子装置の制御方法、および、プログラム

Country Status (5)

Country Link
US (1) US10565462B2 (ja)
EP (1) EP3467765A4 (ja)
JP (1) JP6904261B2 (ja)
CN (1) CN107710275A (ja)
WO (1) WO2017203777A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP2020076619A (ja) * 2018-11-07 2020-05-21 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
JP7463671B2 (ja) * 2019-08-01 2024-04-09 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
CN111882596B (zh) * 2020-03-27 2024-03-22 东莞埃科思科技有限公司 结构光模组三维成像方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338789A (ja) * 1989-07-06 1991-02-19 Fuji Electric Co Ltd パターンマッチング方式
JP2000293627A (ja) * 1999-04-02 2000-10-20 Sanyo Electric Co Ltd 画像入力装置、画像入力方法、及び記憶媒体
JP2000307947A (ja) * 1999-04-16 2000-11-02 Ricoh Co Ltd 画像処理装置およびその方法
JP2008026243A (ja) * 2006-07-25 2008-02-07 Konica Minolta Sensing Inc 三次元形状測定システム、三次元形状測定方法
JP2015191450A (ja) * 2014-03-28 2015-11-02 日本電気株式会社 Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615003A (en) * 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
JP3309743B2 (ja) * 1996-11-27 2002-07-29 富士ゼロックス株式会社 形状測定方法及び装置
JP4635392B2 (ja) * 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
US20030202683A1 (en) 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
JP2004040395A (ja) * 2002-07-02 2004-02-05 Fujitsu Ltd 画像歪み補正装置、方法及びプログラム
JP4052929B2 (ja) * 2002-07-17 2008-02-27 株式会社リコー 三次元形状表示装置、三次元形状表示方法、プログラムおよび記録媒体
JP2006267031A (ja) * 2005-03-25 2006-10-05 Brother Ind Ltd ３次元入力装置および３次元入力方法
US7589844B2 (en) * 2005-07-15 2009-09-15 Asahi Glass Company, Limited Shape inspection method and apparatus
CN101566465B (zh) * 2009-05-18 2011-04-06 西安交通大学 一种物体变形的实时测量方法
US20150253428A1 (en) * 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
WO2013121897A1 (ja) 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
US11721414B2 (en) * 2015-03-12 2023-08-08 Walmart Apollo, Llc Importing structured prescription records from a prescription label on a medication package
JP2017150893A (ja) 2016-02-23 2017-08-31 ソニー株式会社 測距モジュール、測距システム、および、測距モジュールの制御方法
JP2018036102A (ja) 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338789A (ja) * 1989-07-06 1991-02-19 Fuji Electric Co Ltd パターンマッチング方式
JP2000293627A (ja) * 1999-04-02 2000-10-20 Sanyo Electric Co Ltd 画像入力装置、画像入力方法、及び記憶媒体
JP2000307947A (ja) * 1999-04-16 2000-11-02 Ricoh Co Ltd 画像処理装置およびその方法
JP2008026243A (ja) * 2006-07-25 2008-02-07 Konica Minolta Sensing Inc 三次元形状測定システム、三次元形状測定方法
JP2015191450A (ja) * 2014-03-28 2015-11-02 日本電気株式会社 Ｐｏｓ端末装置、情報処理装置、情報処理システム、画像認識方法、及び画像認識プログラム

Also Published As

Publication number Publication date
US20180189591A1 (en) 2018-07-05
EP3467765A4 (en) 2020-02-26
EP3467765A1 (en) 2019-04-10
CN107710275A (zh) 2018-02-16
JP6904261B2 (ja) 2021-07-14
US10565462B2 (en) 2020-02-18
WO2017203777A1 (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6904261B2 (ja) 電子装置、電子装置の制御方法、および、プログラム
US20220070436A1 (en) Time-of-flight camera system
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
JP5868183B2 (ja) 撮像装置及び撮像方法
JP2010071976A (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US20140347553A1 (en) Imaging devices with light sources for reduced shadow, controllers and methods
KR930007296A (ko) 물체의 3차원 입체정보취득장치
JP2008167295A (ja) 撮像装置及び撮像方法
CN107463659B (zh) 物体搜索方法及其装置
US8823863B2 (en) Image capturing apparatus and control method therefor
CN102265627A (zh) 图像数据获得方法和图像数据获得设备
JP2012015642A (ja) 撮像装置
JPH0942940A (ja) ３次元物体の形状計測方法及び装置
JP2008008687A (ja) 距離測定システム及び距離測定方法
CN113115027A (zh) 校准摄像头的方法和系统
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US11283970B2 (en) Image processing method, image processing apparatus, electronic device, and computer readable storage medium
KR102061087B1 (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
JP2012181757A (ja) 光学情報読み取り装置
JPWO2017134881A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015060531A (ja) 情報コード読取装置
JP6566800B2 (ja) 撮像装置及び撮像方法
JP2004257934A (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
JP2001145128A (ja) ３次元画像検出装置
JP2010258839A (ja) 表示制御装置およびその動作制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210607

R151 Written notification of patent or utility model registration

Ref document number: 6904261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151