JP6641572B1 - 決定装置、制御装置、撮像装置、決定方法、及びプログラム - Google Patents

決定装置、制御装置、撮像装置、決定方法、及びプログラム Download PDF

Info

Publication number
JP6641572B1
JP6641572B1 JP2018156825A JP2018156825A JP6641572B1 JP 6641572 B1 JP6641572 B1 JP 6641572B1 JP 2018156825 A JP2018156825 A JP 2018156825A JP 2018156825 A JP2018156825 A JP 2018156825A JP 6641572 B1 JP6641572 B1 JP 6641572B1
Authority
JP
Japan
Prior art keywords
time
focus
image
focus lens
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018156825A
Other languages
English (en)
Other versions
JP2020030364A (ja
Inventor
佳範 永山
佳範 永山
誠 高宮
誠 高宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018156825A priority Critical patent/JP6641572B1/ja
Priority to PCT/CN2019/102018 priority patent/WO2020038439A1/zh
Priority to CN201980005172.9A priority patent/CN111226433B/zh
Application granted granted Critical
Publication of JP6641572B1 publication Critical patent/JP6641572B1/ja
Publication of JP2020030364A publication Critical patent/JP2020030364A/ja
Priority to US17/169,100 priority patent/US20210160420A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/02Focusing arrangements of general interest for cameras, projectors or printers moving lens along baseboard
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】フォーカスレンズの位置が変化することにより倍率変動が生じることがある。【解決手段】決定装置は、撮像装置により撮像される画像内で合焦させるべき領域を示す合焦枠の第1時点における画像内での位置を特定する第1特定部を備えてよい。決定装置は、第1時点における撮像装置のフォーカスレンズの位置を特定する第2特定部を備えてよい。決定装置は、第1時点より後の第2時点におけるフォーカスレンズの位置を特定する第3特定部を備えてよい。決定装置は、第1時点における合焦枠の位置及びフォーカスレンズの位置、並びに第2時点におけるフォーカスレンズの位置に基づいて、第2時点における合焦枠の画像内での位置を決定する決定部を備えてよい。【選択図】図6

Description

本発明は、決定装置、制御装置、撮像装置、決定方法、及びプログラムに関する。
特許文献1には、撮像倍率及び画像における被写体のサイズの少なくとも一方の変動である倍率変動、及び画像に基づいて、撮像光学系の焦点状態を表すAF評価値を算出し、AF評価値に基づいて撮像光学系を駆動することが開示されている。
特許文献1 国際公開第2013/054797号公報
フォーカスレンズの位置が変化することにより倍率変動が生じることがある。
本発明の一態様に係る決定装置は、撮像装置により撮像される画像内で合焦させるべき領域を示す合焦枠の第1時点における画像内での位置を特定する第1特定部を備えてよい。決定装置は、第1時点における撮像装置のフォーカスレンズの位置を特定する第2特定部を備えてよい。決定装置は、第1時点より後の第2時点におけるフォーカスレンズの位置を特定する第3特定部を備えてよい。決定装置は、第1時点における合焦枠の位置及びフォーカスレンズの位置、並びに第2時点におけるフォーカスレンズの位置に基づいて、第2時点における合焦枠の画像内での位置を決定する決定部を備えてよい。
決定部は、第1時点及び第2時点におけるフォーカスレンズの位置に基づいて、第1時点の像倍率と第2時点の像倍率との比を決定してよい。決定部は、第1時点の合焦枠の位置と、比とに基づいて、第2時点における合焦枠の位置を決定してよい。
決定部は、第1時点の合焦枠の大きさと、比とに基づいて、第2時点における合焦枠の大きさをさらに決定してよい。
決定部は、記憶部に記憶された、フォーカスレンズの位置と合焦枠の位置との対応関係を示す情報に基づいて、第2時点における合焦枠の画像内での位置を決定してよい。
本発明の一態様に係る制御装置は、上記決定装置を備えてよい。制御装置は、撮像装置により撮像される画像の決定部により決定された位置の合焦枠内の合焦状態に基づいて、フォーカスレンズの位置を制御する第1制御部を備えてよい。
制御装置は、決定部により決定された合焦枠の位置に基づいて、撮像装置により撮像される画像に重畳させて表示部に表示させる合焦枠の位置を制御する第2制御部を備えてよい。
本発明の一態様に係る撮像装置は、上記制御装置を備えてよい。撮像装置は、フォーカスレンズを備えてよい。
本発明の一態様に係る決定方法は、撮像装置により撮像される画像内で合焦させるべき領域を示す合焦枠の第1時点における画像内での位置を特定する段階を備えてよい。決定方法は、第1時点における撮像装置のフォーカスレンズの位置を特定する段階を備えてよい。決定方法は、第1時点より後の第2時点におけるフォーカスレンズの位置を特定する段階を備えてよい。決定方法は、第1時点における合焦枠の位置及びフォーカスレンズの位置、並びに第2時点におけるフォーカスレンズの位置に基づいて、第2時点における合焦枠の画像内での位置を決定する段階を備えてよい。
本発明の一態様に係るプログラムは、上記決定装置としてコンピュータを機能させるためのプログラムでよい。
本発明の一態様によれば、フォーカスレンズの位置の変化に伴う像倍率変動の影響を抑制できる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
撮像装置の外観斜視図の一例を示す図である。 撮像装置の機能ブロックを示す図である。 像倍率変動による画像への影響について説明するための図である。 像倍率変動による画像への影響について説明するための図である。 フォーカスレンズの位置と像倍率係数との関係の一例を示す図である。 合像枠の位置を決定する方法について説明するための図である。 合焦枠の位置の決定の手順の一例を示すフローチャートである。 ハードウェア構成の一例を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、本実施形態に係る撮像装置100の外観斜視図の一例を示す図である。図2は、本実施形態に係る撮像装置100の機能ブロックを示す図である。
撮像装置100は、撮像部102及びレンズ部200を備える。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、ズームレンズ211及びフォーカスレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
撮像部102は、指示部162及び表示部160をさらに有してよい。指示部162は、撮像装置100に対する指示をユーザから受け付けるユーザインタフェースである。表示部160は、イメージセンサ120により撮像された画像、撮像装置100の各種設定情報などを表示する。表示部160は、タッチパネルで構成されてよい。
レンズ部200は、フォーカスレンズ210、ズームレンズ211、レンズ駆動部212、レンズ駆動部213及びレンズ制御部220を有する。フォーカスレンズ210、及びズームレンズ211は、少なくとも1つのレンズを含んでよい。フォーカスレンズ210、及びズームレンズ211の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環、ガイド軸などの機構部材を介して、フォーカスレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部213は、カム環、ガイド軸などの機構部材を介して、ズームレンズ211の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212及びレンズ駆動部213の少なくとも一方を駆動して、機構部材を介してフォーカスレンズ210及びズームレンズ211の少なくとも一方を光軸方向に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
レンズ部200は、メモリ240、位置センサ214、及び位置センサ215をさらに有する。メモリ240は、レンズ駆動部212、及びレンズ駆動部213を介して移動するフォーカスレンズ210、及びズームレンズ211の制御値を記憶する。メモリ240は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。位置センサ214は、フォーカスレンズ210の位置を検出する。位置センサ214は、現在のフォーカス位置を検出してよい。位置センサ215は、ズームレンズ211の位置を検出する。位置センサ215は、ズームレンズ211の現在のズーム位置を検出してよい。
一般に、フォーカスレンズ210の位置の変化に伴い像倍率変動が生じないようにレンズ系は設計されている。しかしながら、例えば、画質またはレンズ系の小型化を優先してレンズ系を設計した場合に、フォーカスレンズ210の位置の変化に伴い像倍率変動が生じることがある。
図3に示すように、レンズ系の光学特性によっては、フォーカスレンズ210の位置が変化することで、画像500内の被写体400のサイズが変化することがある。例えば、フォーカスレンズ210が無限側にある場合の画像500内の被写体400のサイズより、フォーカスレンズ210が至近側にある場合の画像500内の被写体400のサイズが大きくなる場合がある。レンズ系の光学特性によっては、フォーカスレンズ210が無限側にある場合の画像500内の被写体400のサイズより、フォーカスレンズ210が至近側にある場合の画像500内の被写体400のサイズが小さくなる場合もある。このような像倍率変動により、合焦枠600内の被写体400の占める割合は変化する。
画像の中心から遠い被写体ほど像倍率変動の影響が大きい。例えば、図4に示すように、被写体400が画像500の中心からずれている場合、像倍率変動に伴い被写体400が画像500内で移動する場合がある。これにより、合焦枠600に対して被写体400がずれてしまう。よって、撮像装置100が、合焦枠600内の合焦状態に基づいて、フォーカスレンズの位置を調整した場合、被写体400に精度よく合焦させることができない場合がある。
そこで、本実施形態に係る撮像装置100は、フォーカスレンズ210の位置の変化に伴う像倍率変動を考慮して、画像500内における合焦枠600の位置を調整する。これにより、像倍率変動の影響を低減させる。
撮像制御部110は、特定部112、決定部114、合焦制御部116、及び表示制御部118を備える。特定部112は、撮像装置100により撮像される画像内で合焦させるべき領域を示す合焦枠の第1時点における画像内での位置を特定する。特定部112は、撮像装置100により撮像される画像に対して予め定められた座標系における、合焦枠の中心の位置を特定してよい。
フォーカスレンズ210の位置の変化に伴う調整が行われる前の合焦枠の位置は、撮像装置100により撮像された画像内の予め定められた位置でよい。合焦枠の位置は、画像内の中心領域でよい。合焦枠の位置は、撮像装置100により撮像された画像上において表示部160を介してユーザにより指定された位置でよい。フォーカスレンズ210の位置の変化に伴う調整が行われる前の合焦枠の大きさは、予め定められた大きさでよい。合焦枠の大きさは、撮像装置100により撮像された画像上において表示部160を介してユーザにより指定された被写体の大きさに基づいて定められてよい。
特定部112は、第1時点における撮像装置100のフォーカスレンズ210の位置を特定する。特定部112は、第1時点より後の第2時点におけるフォーカスレンズ210の位置をさらに特定する。特定部112は、第1特定部、第2特定部、及び第3特定部の一例である。特定部112は、フォーカスレンズ210を移動させるためのフォーカス制御命令に基づいて、第1時点及び第2時点におけるフォーカスレンズ210の位置を特定してよい。特定部112は、第2時点において位置すべきフォーカスレンズの位置を示すフォーカス制御命令に基づいて、第2時点におけるフォーカスレンズ210の位置を特定してよい。
決定部114は、第1時点における合焦枠の位置及びフォーカスレンズの位置、並びに第2時点におけるフォーカスレンズの位置に基づいて、第2時点における合焦枠の位置を決定する。決定部114は、第1時点及び第2時点におけるフォーカスレンズの位置に基づいて、第1時点の像倍率と第2時点の像倍率との比を決定してよい。ここで、像倍率は、実際の被写体の大きさ(高さ)に対するイメージセンサ120に結像された像の大きさ(高さ)の比でよい。
決定部114は、第1時点の合焦枠の位置と、第1時点の像倍率と第2時点の像倍率との比とに基づいて、第2時点における合焦枠の位置を決定してよい。決定部114は、第1時点の合焦枠の大きさと、第1時点の像倍率と第2時点の像倍率との比とに基づいて、第2時点における合焦枠の大きさをさらに決定してよい。
決定部114は、フォーカスレンズ210の位置と、像倍率係数Knとの予め定められた関係に基づいて、第1時点及び第2時点における像倍率係数K1及びK2を導出してよい。この関係は、レンズ系の光学特性に基づいて予め定められてよい。
決定部114は、図5に示すように、レンズ系の光学特性に基づいて予め定められた関数700に従って、フォーカスレンズ210の位置に対応する像倍率係数Knを導出してよい。関数700は、例えば、Kn=A×pn+Bで定められてよい。A及びBは、レンズ系の光学特性に基づいて定められた係数、pnは、フォーカスレンズ210の位置を示す。図5に示す例では、フォーカスレンズ210と像倍率係数Knとの関係を、直線近似により定めている。しかし、レンズ系の光学特性に従って、フォーカスレンズ210と像倍率係数Knとの関係は、LOG曲線、またはガウシアン曲線などで定められてよい。
特定部112が、第1時点におけるフォーカスレンズ210の位置をp1、及び第2時点におけるフォーカスレンズ210の位置をp2と特定する。この場合、決定部114は、第1時点における像倍率係数K1を、A×p1+Bと決定する。また、決定部114は、第2時点における像倍率係数K2を、A×p2+Bと決定する。決定部114は、第1時点及び第2時点における像倍率係数K1及びK2と、第1時点における合焦枠の位置とに基づいて、第2時点における合焦枠の位置を決定してよい。
ここで、画像500の中心の座標は、図6に示すように(Xc0,Yc0)である。第1時点における合焦枠の中心の座標は、(Xc1,Yc1)である。この場合、決定部114は、第2時点における合焦枠の中心の座標(Xc2,Yc2)を、(K2/K1×(Xc1−Xc0)+Xc,K2/K1×(Yc1−Yc0)+Yc)と決定する。
特定部112は、第1時点の合焦枠の大きさ、像倍率係数K1、及び像倍率係数K2に基づいて、第2時点の合焦枠の大きさを決定してよい。特定部112は、第1時点の合焦枠の縦及び横の長さのそれぞれに対してK2/K1を乗算することで、第2時点の合焦枠の縦及び横の長さを決定してよい。
なお、決定部114は、メモリ130に予め記憶された、フォーカスレンズ210の位置と予め定められた大きさの合焦枠の位置とを対応付けたテーブルを参照して、フォーカスレンズ210の位置に対応する合焦枠の位置を決定してもよい。メモリ130に記憶されたテーブルは、フォーカスレンズ210の位置と合焦枠の位置との対応関係を示す情報の一例である。メモリ130は、記憶部の一例である。テーブルは、実測値に基づいて生成されてよい。例えば、テーブルは、フォーカスレンズ210を移動している間に測定された、予め定められた位置に存在する被写体の画像上での位置及び大きさの測定結果に基づいて生成されてよい。
合焦制御部116は、撮像装置100により撮像される画像の決定部114により決定された位置の合焦枠内の合焦状態に基づいて、フォーカスレンズ210の位置を制御してよい。合焦制御部116は、画像における合焦枠内のコントラストの評価値に基づいて、合焦枠内の被写体に合焦するように、フォーカスレンズ210の位置を制御してよい。合焦制御部116は、合焦枠内のコントラストの評価値が予め定められた閾値以上になるように、フォーカスレンズ210の位置を制御してよい。
表示制御部118は、決定部114により決定された合焦枠の位置に基づいて、撮像装置100により撮像される画像に重畳させて表示部160に表示させる合焦枠の位置を制御してよい。表示制御部118は、フォーカスレンズ210の移動に応じて、画像に重畳させて表示部160に表示させる合焦枠を移動させてよい。
表示制御部118は、合焦枠内の画像を表示部160に拡大して表示させてよい。表示制御部118は、撮像装置100により撮像される画像に重畳させて合焦枠を表示部160に表示させるとともに、合焦枠内の画像を拡大して、表示部160の予め定められた領域に表示させてもよい。これにより、合焦枠内の画像を表示部160に拡大して表示させる場合に、像倍率変動に伴い合焦枠内の被写体の位置が変化することを抑制できる。
撮像装置100は、トラッキングAF(自動追尾)機能を有する場合がある。撮像装置100がトラッキングAFを実行している場合、撮像装置100は、画像内で被写体が動くことに応じて合焦枠を移動させる。そこで、決定部114は、トラッキングAFによる合焦枠の移動方向及び移動量と、フォーカスレンズ210の像倍率変動に伴う合焦枠の移動方向及び移動量とに基づいて、合焦枠の位置を決定してよい。例えば、被写体がイメージセンサ120から光軸方向に離れる方向に移動する場合、フォーカスレンズ210は至近側に移動する。決定部114は、フォーカスレンズ210の移動に併せて、合焦枠が画像の中心に移動するように合焦枠の位置を決定してよい。
図7は、合焦枠の位置の決定の手順の一例を示すフローチャートである。
表示制御部118は、表示部160を介してユーザから指定された位置に合焦枠を第1時点において表示する。特定部112は、第1時点における合焦枠の位置を決定する(S100)。特定部112は、第1時点におけるフォーカスレンズ210の位置を特定する(S102)。合焦制御部116は、画像の合焦枠内の合焦状態に基づいて、フォーカスレンズ210の位置の調整を開始する。合焦制御部116は、コントラスAF処理などのAF処理を開始してよい。
特定部112は、第1時点に続く第2時点におけるフォーカスレンズ210の位置を特定する(S104)。特定部112は、第2時点において位置すべきフォーカスレンズ210の位置を示すフォーカス制御命令に基づいて、第2時点におけるフォーカスレンズ210の位置を特定してよい。
決定部114は、第1時点における合焦枠の位置、及びフォーカスレンズ210の位置、並びに第2時点におけるフォーカスレンズ210の位置に基づいて、第2時点における合焦枠の位置を決定する(S106)。決定部114は、第1時点及び第2時点における像倍率係数K1及びK2と、第1時点における合焦枠の位置とに基づいて、第2時点における合焦枠の位置を決定してよい。
表示制御部118は、決定部114により決定された位置に基づいて合焦枠の位置を調整して、表示部160に表示させる(S108)。表示制御部118は、表示部160に合焦枠内の画像を拡大して表示させている場合には、合焦枠の位置に合せて、表示部160に表示させる画像の領域を変化させてよい。
合焦制御部116は、調整された合焦枠内の合焦状態に基づいて、フォーカスレンズ210の位置を調整する(S110)。
以上の通り、本実施形態に係る撮像装置100によれば、フォーカスレンズ210の位置の変化に伴う像倍率変動を考慮して、画像内における合焦枠の位置を調整する。これにより、像倍率変動の影響を低減させる。例えば、像倍率変動に伴う合焦枠内での被写体の位置が変化して、所望の被写体に対する合焦精度が低下することを抑制できる。合焦枠内の画像を拡大して表示している場合に、像倍率変動に伴い合焦枠内で被写体が移動してしまうことを抑制できる。
図8は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
100 撮像装置
102 撮像部
110 撮像制御部
112 特定部
114 決定部
116 合焦制御部
118 表示制御部
120 イメージセンサ
130 メモリ
160 表示部
162 指示部
200 レンズ部
210 フォーカスレンズ
211 ズームレンズ
212 レンズ駆動部
213 レンズ駆動部
214 位置センサ
215 位置センサ
220 レンズ制御部
240 メモリ
400 被写体
500 画像
600 合焦枠
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM

Claims (8)

  1. 撮像装置により撮像される画像内で合焦させるべき領域を示す合焦枠の第1時点における前記画像内での位置を特定する第1特定部と、
    前記第1時点における前記撮像装置のフォーカスレンズの位置を特定する第2特定部と、
    前記第1時点より後の第2時点における前記フォーカスレンズの位置を特定する第3特定部と、
    前記第1時点における前記合焦枠の位置及び前記フォーカスレンズの位置、並びに前記第2時点における前記フォーカスレンズの位置に基づいて、前記第2時点における前記合焦枠の前記画像内での位置を決定する決定部と
    を備え、
    前記撮像装置は、画像内で被写体が動くことに応じて合焦枠を移動させるトラッキングAFを実行し、
    前記決定部は、
    前記第1時点及び前記第2時点における前記フォーカスレンズの位置に基づいて、前記第1時点の像倍率と前記第2時点の像倍率との比を決定し、
    前記第1時点の前記合焦枠の位置と、前記比と、前記トラッキングAFによる合焦枠の移動方向及び移動量とに基づいて、前記第2時点における前記合焦枠の位置を決定し、
    前記決定部は、
    前記フォーカスレンズの位置と像倍率係数との予め定められた関係に基づいて前記第1時点の第1像倍率係数及び前記第2時点の第2像倍率係数を決定し、
    前記第1像倍率係数及び前記第2像倍率係数に基づいて前記比を決定する、決定装置。
  2. 前記決定部は、前記第1時点の前記合焦枠の大きさと、前記比とに基づいて、前記第2時点における前記合焦枠の大きさをさらに決定する、請求項に記載の決定装置。
  3. 前記決定部は、記憶部に記憶された、前記フォーカスレンズの位置と前記合焦枠の位置との対応関係を示す情報に基づいて、前記第2時点における前記合焦枠の前記画像内での位置を決定する、請求項1に記載の決定装置。
  4. 請求項1からの何れか1つに記載の決定装置と、
    前記撮像装置により撮像される画像の前記決定部により決定された位置の前記合焦枠内の合焦状態に基づいて、前記フォーカスレンズの位置を制御する第1制御部と
    を備える、制御装置。
  5. 前記決定部により決定された前記合焦枠の位置に基づいて、前記撮像装置により撮像される画像に重畳させて表示部に表示させる前記合焦枠の位置を制御する第2制御部をさらに備える、請求項に記載の制御装置。
  6. 請求項またはに記載の制御装置と、
    前記フォーカスレンズと
    を備える撮像装置。
  7. 撮像装置により撮像される画像内で合焦させるべき領域を示す合焦枠の第1時点における前記画像内での位置を特定する段階と、
    前記第1時点における前記撮像装置のフォーカスレンズの位置を特定する段階と、
    前記第1時点より後の第2時点における前記フォーカスレンズの位置を特定する段階と、
    前記第1時点における前記合焦枠の位置及び前記フォーカスレンズの位置、並びに前記第2時点における前記フォーカスレンズの位置に基づいて、前記第2時点における前記合焦枠の前記画像内での位置を決定する段階と
    を備え、
    前記撮像装置は、画像内で被写体が動くことに応じて合焦枠を移動させるトラッキングAFを実行し、
    前記決定する段階は、
    前記第1時点及び前記第2時点における前記フォーカスレンズの位置に基づいて、前記第1時点の像倍率と前記第2時点の像倍率との比を決定する段階と、
    前記第1時点の前記合焦枠の位置と、前記比と、前記トラッキングAFによる合焦枠の移動方向及び移動量とに基づいて、前記第2時点における前記合焦枠の位置を決定する段階を含み、
    前記決定する段階は、
    前記フォーカスレンズの位置と像倍率係数との予め定められた関係に基づいて前記第1時点の第1像倍率係数及び前記第2時点の第2像倍率係数を決定する段階と、
    前記第1像倍率係数及び前記第2像倍率係数に基づいて前記比を決定する段階とをさらに含む、決定方法。
  8. 請求項1からの何れか1つに記載の決定装置としてコンピュータを機能させるためのプログラム。
JP2018156825A 2018-08-24 2018-08-24 決定装置、制御装置、撮像装置、決定方法、及びプログラム Expired - Fee Related JP6641572B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018156825A JP6641572B1 (ja) 2018-08-24 2018-08-24 決定装置、制御装置、撮像装置、決定方法、及びプログラム
PCT/CN2019/102018 WO2020038439A1 (zh) 2018-08-24 2019-08-22 确定装置、控制装置、摄像装置、确定方法以及程序
CN201980005172.9A CN111226433B (zh) 2018-08-24 2019-08-22 确定装置、控制装置、摄像装置、确定方法以及程序
US17/169,100 US20210160420A1 (en) 2018-08-24 2021-02-05 Determination device, control device, photographing device, determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018156825A JP6641572B1 (ja) 2018-08-24 2018-08-24 決定装置、制御装置、撮像装置、決定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6641572B1 true JP6641572B1 (ja) 2020-02-05
JP2020030364A JP2020030364A (ja) 2020-02-27

Family

ID=69320982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018156825A Expired - Fee Related JP6641572B1 (ja) 2018-08-24 2018-08-24 決定装置、制御装置、撮像装置、決定方法、及びプログラム

Country Status (4)

Country Link
US (1) US20210160420A1 (ja)
JP (1) JP6641572B1 (ja)
CN (1) CN111226433B (ja)
WO (1) WO2020038439A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117135451A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 对焦处理方法、电子设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4957943B2 (ja) * 2005-09-07 2012-06-20 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4939203B2 (ja) * 2006-12-22 2012-05-23 キヤノン株式会社 表示制御装置、撮像装置、及び制御方法
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
KR101446772B1 (ko) * 2008-02-04 2014-10-01 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP5206494B2 (ja) * 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP6137840B2 (ja) * 2013-01-18 2017-05-31 オリンパス株式会社 カメラシステム
JP6618255B2 (ja) * 2014-12-24 2019-12-11 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
US10491828B2 (en) * 2015-04-03 2019-11-26 Canon Kabushiki Kaisha Display control apparatus and control method of the same
CN105357444B (zh) * 2015-11-27 2018-11-02 努比亚技术有限公司 对焦方法和装置
CN105573016B (zh) * 2015-12-21 2019-01-18 浙江大学 一种自动对焦窗口调整方法及系统
CN106331498A (zh) * 2016-09-13 2017-01-11 青岛海信移动通信技术股份有限公司 用于移动终端的图像处理方法及装置
CN107087102B (zh) * 2017-03-13 2020-07-24 联想(北京)有限公司 对焦信息处理方法及电子设备
CN107124554A (zh) * 2017-05-27 2017-09-01 Tcl移动通信科技(宁波)有限公司 一种移动终端及其对焦处理方法、及存储装置
CN107124556B (zh) * 2017-05-31 2021-03-02 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端

Also Published As

Publication number Publication date
CN111226433A (zh) 2020-06-02
JP2020030364A (ja) 2020-02-27
WO2020038439A1 (zh) 2020-02-27
US20210160420A1 (en) 2021-05-27
CN111226433B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN107274442B (zh) 一种图像识别方法和装置
KR102257620B1 (ko) 디스플레이 디바이스 및 그 제어 방법
CN111263075B (zh) 对包含音圈电机的镜头模组进行标定的方法、装置及设备
US20130080974A1 (en) Region recommendation device, region recommendation method and recording medium
US10291843B2 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
EP3579146A1 (en) Imaging processing method and device
US20210006709A1 (en) Control device, photographing device, control method, and program
WO2013179560A1 (ja) 画像処理装置および画像処理方法
CN111310634B (zh) 证件类型识别模板的生成方法、证件识别方法及装置
CN111881764A (zh) 一种目标检测方法、装置、电子设备及存储介质
JP6641572B1 (ja) 決定装置、制御装置、撮像装置、決定方法、及びプログラム
JP2020086152A (ja) 検査システム、検査方法およびプログラム
JP6201798B2 (ja) システム、情報処理装置、情報処理方法、および情報処理プログラム
JP6561370B1 (ja) 決定装置、撮像装置、決定方法、及びプログラム
JP6137464B2 (ja) 画像処理装置および画像処理プログラム
JP6623419B2 (ja) 表示制御装置、撮像装置、スマートフォン、表示制御方法、及びプログラム
JP6911250B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP7440256B2 (ja) 拡張現実の文書処理
JP2021110794A (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP2021108431A (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP2015215372A (ja) 焦点調節装置、焦点調節装置の制御方法、焦点調節装置の制御プログラム及び記憶媒体
JP2019203967A (ja) 表示制御装置、撮像装置、表示制御方法、及びプログラム
JP7087984B2 (ja) 撮像システムおよび設定装置
WO2020192551A1 (zh) 控制装置、摄像系统、控制方法以及程序
CN110503109B (zh) 图像特征提取方法和装置、图像处理方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6641572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees