JP7472795B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7472795B2 JP7472795B2 JP2020556668A JP2020556668A JP7472795B2 JP 7472795 B2 JP7472795 B2 JP 7472795B2 JP 2020556668 A JP2020556668 A JP 2020556668A JP 2020556668 A JP2020556668 A JP 2020556668A JP 7472795 B2 JP7472795 B2 JP 7472795B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image data
- image
- unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 67
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 178
- 238000003384 imaging method Methods 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 29
- 238000011156 evaluation Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 22
- 238000001356 surgical procedure Methods 0.000 description 22
- 238000002674 endoscopic surgery Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000003825 pressing Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010336 energy treatment Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
所定の入力に応じて取得された画像データの少なくとも一部の範囲の画像データが抽出され、抽出された少なくとも一部の範囲の画像データに基づいて学習を行う学習部と、
画像データに対する所定の処理を行い、所定の処理の結果に基づいて、画像データを再構成した学習対象画像データを生成する学習対象画像データ生成部と、を有し、
所定の入力は、撮影開始を指示する入力であり、
学習部は、所定の入力に応じて学習を開始し、
学習部は、学習対象画像データに基づいて学習を行う
情報処理装置である。
所定の入力に応じて取得された画像データの少なくとも一部の範囲の画像データが抽出され、学習部が、抽出された少なくとも一部の範囲の画像データに基づいて学習を行い、
学習対象画像データ生成部が、画像データに対する所定の処理を行い、所定の処理の結果に基づいて、画像データを再構成した学習対象画像データを生成し、
所定の入力は、撮影開始を指示する入力であり、
学習部は、所定の入力に応じて学習を開始し、
学習部は、学習対象画像データに基づいて学習を行う
情報処理方法である。
所定の入力に応じて取得された画像データの少なくとも一部の範囲の画像データが抽出され、学習部が、抽出された少なくとも一部の範囲の画像データに基づいて学習を行い、
学習対象画像データ生成部が、画像データに対する所定の処理を行い、所定の処理の結果に基づいて、画像データを再構成した学習対象画像データを生成し、
所定の入力は、撮影開始を指示する入力であり、
学習部は、所定の入力に応じて学習を開始し、
学習部は、学習対象画像データに基づいて学習を行う
情報処理方法をコンピュータに実行させるプログラムである。
<実施の形態>
<変形例>
<応用例>
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
[情報処理システムの構成例]
図1は、実施の形態にかかる情報処理システム(情報処理システム100)の構成例を示す図である。情報処理システム100は、例えば、撮像装置1、カメラコントロールユニット2及び自動撮影コントローラ3を含む構成を有している。なお、カメラコントロールユニットは、ベースバンドプロセッサ等とも称される場合がある。
(撮像装置の構成例)
次に、情報処理システム100を構成する各装置の構成例について説明する。始めに、撮像装置1の構成例について説明する。図2は、撮像装置1の構成例を示すブロック図である。撮像装置1は、撮像部11、A/D変換部12及びI/F(Interface)13を有している。
図3は、カメラコントロールユニット2の構成例を示すブロック図である。カメラコントロールユニット2は、例えば、入力部21、カメラ信号処理部22、記憶部23及び出力部24を有している。
図4は、情報処理装置の一例である自動撮影コントローラ3の構成例を示すブロック図である。自動撮影コントローラ3は、パーソナルコンピュータ、タブレット型のコンピュータ、スマートフォン等により構成される。自動撮影コントローラ3は、例えば、入力部31、顔認識処理部32、処理部33、閾値判定処理部34、出力部35及び操作入力部36を有している。処理部33は、学習部33A及び画角判定処理部33Bを有している。本実施の形態では、処理部33及び閾値判定処理部34が特許請求の範囲における判定部に対応し、操作入力部36が特許請求の範囲における入力部に対応している。
例えば、オンエア時に学習フェーズに移行するモードに切り替えるトリガが与えられると、その間の画像に基づいて教師データがつくられ学習される。学習結果は、学習終了後に同一のオンエア時のコントロールフェーズにおける処理に反映される。
コントロールフェーズ及び学習フェーズのそれぞれに係る処理が異なるタイミングで行われる場合としては、以下のパターンが想定される。
例えば、一回のオンエア時に収集される教師データを記憶部(例えば、自動撮影コントローラ3が有する記憶部)などに蓄積(場合によっては複数回のオンエア分)した上で学習し、この学習結果は、次回以降のオンエアにおけるコントロールフェーズにおいて利用される。
コントロールフェーズ及び学習フェーズにかかる処理が終了するタイミング(終了させるトリガ)は、同時でも良いし、異なっていても良い。
以上を踏まえ、自動撮影コントローラ3の構成例等について説明する。
なお、本実施の形態における学習とは、2値化された特徴画像をインプットとして、評価値をアウトプットするためのモデル(ニューラルネットワーク)を生成することを意味する。
(情報処理システム全体の動作例)
次に、実施の形態にかかる情報処理システム100の動作例について説明する。以下の説明は、コントロールフェーズにおける情報処理システム100の動作例である。図5は、情報処理システム100で行われる動作例を説明するための図である。撮像装置1が撮像動作することにより画像が取得される。撮像装置1が画像の取得を開始するトリガは、撮像装置1に対する所定の入力でも良いし、自動撮影コントローラ3からの送信されるコマンドであっても良い。図5に示すように、例えば、2人の人物が写る2ショットの画像IM1が撮像装置1により取得される。撮像装置1により取得された画像が、カメラコントロールユニット2及び自動撮影コントローラ3のそれぞれに供給される。
次に、図6を参照して、コントロールフェーズにおける自動撮影コントローラの動作例について説明する。上述したように、撮像装置1により例えば、画像IM1が取得される。画像IM1が自動撮影コントローラ3に入力される。自動撮影コントローラ3の顔認識処理部32は、画像IM1に対して顔認識処理320を行う。顔認識処理320としては、公知の顔認識処理を適用することができる。顔認識処理320により、図6の参照符号AAを付した箇所で模式的に示すように、画像IM1における人物の顔領域である顔領域FA1及び顔領域FA2が検出される。
次に、切り出し位置指示コマンドによって指定される画像切り出し位置、即ち、画角を調整し、調整した結果を設定する例について説明する。図8は、画像の切り出し位置を設定可能なUI(UI40)の一例を示す図である。UI40は表示部41を含み、当該表示部41には2人の人物と、2人の人物の顔領域(顔領域FA4、FA5)が表示されている。また、表示部41には、顔領域FA4,FA5に対する画像切り出し位置PO4が示されている。
次に、自動撮影コントローラ3の学習部33Aにより行われる画角の学習、即ち、学習フェーズにおける処理について説明する。学習部33Aは、例えば、シーンと、撮影条件及び編集条件の少なくとも一方との対応関係を、シーン毎に学習する。ここで、シーンとは構図を含む。構図とは、撮影中の画面全体の構成であり、具体的には、画角に対する人物の位置関係が挙げられ、より具体的には、1ショット、2ショット、1ショットの左空け、1ショットの右空け等が挙げられる。かかるシーンは、後述するように、ユーザによって指定可能とされる。撮影条件とは、撮影中に調整され得る条件であり、具体例としては、画面の明るさ(アイリス・ゲイン)、ズーム等が挙げられる。編集条件とは、撮影中又は録画確認中に調整され得る条件であり、具体例としては、切り出し画角や、明るさ(ゲイン)、画質が挙げられる。本実施の形態では、編集条件の一つである画角を学習する例について説明する。
図9は、自動撮影コントローラ3において、画角を学習する際に使用されるUI(UI50)の一例を示す図である。UI50は、例えば1ショットの画角を学習部33Aに学習させる際のUIである。学習対象のシーンは、例えば、操作入力部36を使用した操作により適宜、変更することができる。UI50は、例えば、表示部51と、当該表示部51に表示される学習画角選択部52を含む。学習画角選択部52は、学習に使用する学習対象画像データ(本実施の形態では、特徴画像)の範囲を指定可能とするUIであり、本実施の形態では「全体」、「現在の切り出し位置」の2つが選択可能とされている。学習画角選択部52の「全体」が選択されると、特徴画像全体が学習に使用される。学習画角選択部52の「現在の切り出し位置」が選択されると、所定の位置で切り出された特徴画像が学習に使用される。ここでの画像切り出し位置は、例えば、図8を使用して設定された切り出し位置である。
次に、図10及び図11のフローチャートを参照して、学習フェーズにおいて学習部33Aにより行われる処理の流れについて説明する。図10は、撮影開始ボタン53Aが押下され、撮影開始が指示された際に行われる処理の流れを示すフローチャートである。処理が開始されると、撮像装置1を介して取得された画像が入力部31を介して自動撮影コントローラ3に供給される。ステップST22では、顔認識処理部32による顔認識処理により顔領域が検出される。そして、処理がステップST22に進む。
実施の形態によれば、例えばユーザが教師データを取得したい任意のタイミングで学習開始のトリガ(学習フェーズに移行するトリガ)を入力することができる。また、この学習開始のトリガに応じて取得される少なくとも一部の正解画像のみに基づいて学習を行うようにしているので、学習コストを低減することができる。また、スタジオ撮影等の場合には、不正解画像は、通常では撮影されない。しかしながら、実施の形態では、学習の際に不正解画像を使用しないので、不正解画像を取得する必要がなくなる。
また、実施の形態では、学習の結果、得られる学習モデルを使用して、画角が適切であるかを判定し、不適切な画角の場合は画像切り出し位置が自動で補正される。従って、カメラマンが撮像装置を操作して適切な画角の画像を取得する必要がなくなり、人手で行われていた撮影における一連の操作を自動化することができる。
以上、本開示の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
図13は、第1の変形例を説明するための図である。第1の変形例では、撮像装置1がPTZカメラ1Aであり、カメラコントロールユニット2がPTZ制御装置2Aである点が実施の形態と異なる。PTZカメラ1Aとは、パン(Pan:Panoramac viewの略)及びチルト(Tilt)の制御とズーム(Zoom)の制御が遠隔操作により可能とされるカメラである。パンは、カメラの画角を水平方向に移動(横方法に首振り)させる制御であり、チルトは、カメラの画角を垂直方法に移動(縦方向に首振り)させる制御であり、ズームは、画角を拡大及び縮小して表示させる制御である。PTZ制御装置2Aは、自動撮影コントローラ3から供給されるPTZ位置の指示コマンドに応じてPTZカメラ1Aを制御する。
図14は、第2の変形例を説明するための図である。第2の変形例にかかる情報処理システム(情報処理システム100A)は、撮像装置1、カメラコントロールユニット2及び自動撮影コントローラ3の他に、スイッチャー5及び自動スイッチングコントローラ6を有する。撮像装置1、カメラコントロールユニット2及び自動撮影コントローラ3の動作は、上述した実施の形態で説明した動作と同様である。自動撮影コントローラ3は、シーン毎に画角が適切であるか否かを判定し、その結果に応じて、切り出し位置指示コマンドを適宜、カメラコントロールユニット2に出力する。カメラコントロールユニット2からは、シーン毎に適切な画角である画像が出力される。カメラコントロールユニット2からの複数の出力がスイッチャー5に供給される。スイッチャー5は、自動スイッチングコントローラ6の制御に応じて、カメラコントロールユニット2から供給される複数の画像から所定の画像を選択して出力する。例えば、スイッチャー5は、自動スイッチングコントローラ6から供給される切替コマンドに応じて、カメラコントロールユニット2から供給される複数の画像から所定の画像を選択して出力する。
例えば、1ショットや2ショット等のシーンをランダムに所定時間毎(例えば、10秒毎)に切り替えるように、自動スイッチングコントローラ6が切替コマンドを出力する。
放送内容に応じて、自動スイッチングコントローラ6が切替コマンドを出力する。例えば、出演者がトークするモードでは、全体画角の画像を選択する切替コマンドが出力され、選択された画像(例えば、図14に示す画像IM20)がスイッチャー5から出力される。また、例えば、VTRが放送されるときは、所定の位置で切り出された画像を選択する切替コマンドが出力され、選択された画像が図14に示す画像IM21のように、PinP(Picture In Picture)で使用される。放送内容がVTRに切り替わるタイミングは、適宜な方法により自動スイッチングコントローラ6に入力される。なお、PinPモードのときは、人物が異なる1ショットの画像を連続的に切り替えるようにしても良い。また、出演者を放送するモードのときは、引きの画像(全体の画像)と1ショットの画像が連続しないように画像を切り替えるようにしても良い。
また、自動撮影コントローラ3で演算される評価値が最も低い画像、即ち、エラーが小さく画角がより適切である画像が選択されるように、自動スイッチングコントローラ6が切替コマンドを出力しても良い。
また、公知の方法により話者認識を行い、話者を含むショットの画像に切り替わるように、自動スイッチングコントローラ6が切替コマンドを出力しても良い。
なお、図14では、カメラコントロールユニット2から2個の画像データが出力されているが、より多くの画像データが出力されても良い。
その他の変形例について説明する。自動撮影コントローラ3で行われる機械学習はオートエンコーダに限定されることなく、他の方法であっても良い。
編集開始のトリガ、学習開始のトリガ、編集終了のトリガ及び学習終了のトリガはそれぞれ独立であっても良く、例えば、編集開始ボタンを押下する入力がなされると、処理部による編集処理が開始され、編集により取得された画像データに基づいて特徴画像が生成される。学習ボタンを押下すると、生成された特徴画像を使用した学習部による学習が行われる。また、編集開始ボタンについても、再度押下することにより、編集が停止されるようにしても良い。また、編集開始のトリガ、学習開始のトリガ、編集終了のトリガ及び学習終了のトリガは共通であっても良い。例えば、編集ボタンと学習ボタンが1個のボタンで設けられていても良く、1個のボタンを押下することにより編集が終了すると共に、学習フェーズにかかる処理が終了するようにしても良い。
また、上述のようなユーザの操作による学習開始のトリガ以外に、例えば、編集装置の立ち上げ(編集アプリの立ち上げ)指示や、編集装置に対する編集データ(動画データ)の取り込み指示が編集開始のトリガとなってもよい。
(1)
データを取得し、所定の入力に応じて前記データの少なくとも一部の範囲のデータを抽出し、前記少なくとも一部の範囲のデータに基づいて学習を行う学習部を有する情報処理装置。
(2)
前記データは、撮影中に取得された画像に対応する画像データに基づくデータである
(1)に記載の情報処理装置。
(3)
前記所定の入力は、学習の開始点を示す入力である
(1)又は(2)に記載の情報処理装置。
(4)
前記所定の入力は、さらに学習の終了点を示す入力である
(3)に記載の情報処理装置。
(5)
前記学習部は、前記学習の開始点から前記学習の終了点までの範囲のデータを抽出する
(4)に記載の情報処理装置。
(6)
前記画像データに対する所定の処理を行い、前記所定の処理の結果に基づいて、前記画像データを再構成した学習対象画像データを生成する学習対象画像データ生成部を有し、
前記学習部は、前記学習対象画像データに基づいて学習を行う
(2)から(5)までの何れかに記載の情報処理装置。
(7)
前記学習対象画像データは、前記所定の処理によって検出された特徴を記号化した画像データである
(6)に記載の情報処理装置。
(8)
前記所定の処理は顔認識処理であり、前記学習対象画像データは、前記顔認識処理で得られた顔領域とその他の領域とを区別した画像データである
(6)に記載の情報処理装置。
(9)
前記所定の処理は姿勢検出処理であり、前記学習対象画像データは、前記姿勢検出処理で得られた特徴点の領域とその他の領域とを区別した画像データである
(6)に記載の情報処理装置。
(10)
前記学習の結果に基づく学習モデルが表示される
(1)から(9)までの何れかに記載の情報処理装置。
(11)
前記学習部は、シーンと、撮影条件及び編集条件の少なくとも一方との対応関係を、シーン毎に学習する
(1)から(10)までの何れかに記載の情報処理装置。
(12)
前記シーンは、ユーザにより指定されたシーンである
(11)に記載の情報処理装置。
(13)
前記シーンは、画角に対する人物の位置関係である
(11)に記載の情報処理装置。
(14)
前記撮影条件は、撮影中に調整され得る条件である
(11)に記載の情報処理装置。
(15)
前記編集条件は、撮影中又は録画確認中に調整され得る条件である
(11)に記載の情報処理装置。
(16)
前記学習部による学習の結果が前記シーン毎に記憶される
(11)に記載の情報処理装置。
(17)
前記情報処理装置と通信可能なサーバ装置に前記学習の結果が記憶される
(16)に記載の情報処理装置。
(18)
前記学習の結果を使用した判定を行う判定部を有する
(16)に記載の情報処理装置。
(19)
前記所定の入力を受け付ける入力部と、
前記画像データを取得する撮像部と
を有する
(2)から(19)までの何れかに記載の情報処理装置。
(20)
データを取得し、所定の入力に応じて前記データの少なくとも一部の範囲のデータを抽出し、学習部が、前記少なくとも一部の範囲のデータに基づいて学習を行う情報処理方法。
(21)
データを取得し、所定の入力に応じて前記データの少なくとも一部の範囲のデータを抽出し、学習部が、前記少なくとも一部の範囲のデータに基づいて学習を行う情報処理方法をコンピュータに実行させるプログラム。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図16に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図18では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
図19を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図19は、図18に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
Claims (16)
- 所定の入力に応じて取得された画像データの少なくとも一部の範囲の画像データが抽出され、抽出された前記少なくとも一部の範囲の画像データに基づいて学習を行う学習部と、
前記画像データに対する所定の処理を行い、前記所定の処理の結果に基づいて、前記画像データを再構成した学習対象画像データを生成する学習対象画像データ生成部と、を有し、
前記所定の入力は、撮影開始を指示する入力であり、
前記学習部は、前記所定の入力に応じて学習を開始し、
前記学習部は、前記学習対象画像データに基づいて学習を行う
情報処理装置。 - 前記学習対象画像データは、前記所定の処理によって検出された特徴を記号化した画像データである
請求項1に記載の情報処理装置。 - 前記所定の処理は顔認識処理であり、前記学習対象画像データは、前記顔認識処理で得られた顔領域とその他の領域とを区別した画像データである
請求項1に記載の情報処理装置。 - 前記所定の処理は姿勢検出処理であり、前記学習対象画像データは、前記姿勢検出処理で得られた特徴点の領域とその他の領域とを区別した画像データである
請求項1に記載の情報処理装置。 - 前記学習の結果に基づく学習モデルに対応する情報が表示される
請求項1に記載の情報処理装置。 - 前記学習部は、シーンと、撮影条件及び編集条件の少なくとも一方との対応関係を、シーン毎に学習する
請求項1に記載の情報処理装置。 - 前記シーンは、ユーザにより指定されたシーンである
請求項6に記載の情報処理装置。 - 前記シーンは、画角に対応した撮影範囲における人物の位置に対応したシーンである
請求項6に記載の情報処理装置。 - 前記撮影条件は、撮影中に調整され得る条件である
請求項6に記載の情報処理装置。 - 前記編集条件は、撮影中又は録画確認中に調整され得る条件である
請求項6に記載の情報処理装置。 - 前記学習部による学習の結果が前記シーン毎に記憶される
請求項6に記載の情報処理装置。 - 前記情報処理装置と通信可能なサーバ装置に前記学習の結果が記憶される
請求項11に記載の情報処理装置。 - 前記学習の結果を使用した判定を行う判定部を有する
請求項11に記載の情報処理装置。 - 前記所定の入力を受け付ける入力部と、
前記画像データを取得する撮像部と
を有する
請求項1に記載の情報処理装置。 - 所定の入力に応じて取得された画像データの少なくとも一部の範囲の画像データが抽出され、学習部が、抽出された前記少なくとも一部の範囲の画像データに基づいて学習を行い、
学習対象画像データ生成部が、前記画像データに対する所定の処理を行い、前記所定の処理の結果に基づいて、前記画像データを再構成した学習対象画像データを生成し、
前記所定の入力は、撮影開始を指示する入力であり、
前記学習部は、前記所定の入力に応じて学習を開始し、
前記学習部は、前記学習対象画像データに基づいて学習を行う
情報処理方法。 - 所定の入力に応じて取得された画像データの少なくとも一部の範囲の画像データが抽出され、学習部が、抽出された前記少なくとも一部の範囲の画像データに基づいて学習を行い、
学習対象画像データ生成部が、前記画像データに対する所定の処理を行い、前記所定の処理の結果に基づいて、前記画像データを再構成した学習対象画像データを生成し、
前記所定の入力は、撮影開始を指示する入力であり、
前記学習部は、前記所定の入力に応じて学習を開始し、
前記学習部は、前記学習対象画像データに基づいて学習を行う
情報処理方法をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018213348 | 2018-11-13 | ||
JP2018213348 | 2018-11-13 | ||
PCT/JP2019/037337 WO2020100438A1 (ja) | 2018-11-13 | 2019-09-24 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020100438A1 JPWO2020100438A1 (ja) | 2021-09-30 |
JP7472795B2 true JP7472795B2 (ja) | 2024-04-23 |
Family
ID=70731859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556668A Active JP7472795B2 (ja) | 2018-11-13 | 2019-09-24 | 情報処理装置、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210281745A1 (ja) |
JP (1) | JP7472795B2 (ja) |
CN (1) | CN112997214B (ja) |
WO (1) | WO2020100438A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4044110A4 (en) * | 2020-10-27 | 2023-02-22 | Samsung Electronics Co., Ltd. | METHOD FOR GENERATION OF IMAGE DATA WITH REDUCED NOISE AND ELECTRONIC DEVICE FOR IMPLEMENTING IT |
WO2023276005A1 (ja) * | 2021-06-29 | 2023-01-05 | 三菱電機株式会社 | 制御装置、撮影システムおよび追尾制御方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268562A (ja) | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | ライブ映像の自動収録方法および装置 |
JP2009211294A (ja) | 2008-03-03 | 2009-09-17 | Nippon Hoso Kyokai <Nhk> | ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム |
JP6176542B2 (ja) | 2015-04-22 | 2017-08-09 | パナソニックIpマネジメント株式会社 | 電子部品ボンディングヘッド |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2605722B2 (ja) * | 1987-07-17 | 1997-04-30 | ソニー株式会社 | 学習装置 |
JPH06176542A (ja) * | 1992-12-04 | 1994-06-24 | Oki Electric Ind Co Ltd | マルチメディアオーサリングシステム |
JP4123567B2 (ja) * | 1998-04-30 | 2008-07-23 | ソニー株式会社 | 画像信号処理装置及び方法 |
US20110301982A1 (en) * | 2002-04-19 | 2011-12-08 | Green Jr W T | Integrated medical software system with clinical decision support |
US7583831B2 (en) * | 2005-02-10 | 2009-09-01 | Siemens Medical Solutions Usa, Inc. | System and method for using learned discriminative models to segment three dimensional colon image data |
JP2007166383A (ja) * | 2005-12-15 | 2007-06-28 | Nec Saitama Ltd | デジタルカメラ及び画像合成方法並びにプログラム |
JP2007295130A (ja) * | 2006-04-21 | 2007-11-08 | Sharp Corp | 画像データ符号化装置、プログラム、コンピュータ読み取り可能な記録媒体、及び画像データ符号化方法 |
JP2008022103A (ja) * | 2006-07-11 | 2008-01-31 | Matsushita Electric Ind Co Ltd | テレビ番組動画像ハイライト抽出装置及び方法 |
JP5043100B2 (ja) * | 2007-04-23 | 2012-10-10 | シャープ株式会社 | 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体 |
JP5025713B2 (ja) * | 2009-11-30 | 2012-09-12 | 日本電信電話株式会社 | 属性識別装置、および属性識別プログラム |
US8582866B2 (en) * | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
JP2013081136A (ja) * | 2011-10-05 | 2013-05-02 | Nikon Corp | 画像処理装置および制御プログラム |
JP6192264B2 (ja) * | 2012-07-18 | 2017-09-06 | 株式会社バンダイ | 携帯端末装置、端末プログラム、拡張現実感システム、および衣類 |
JP2014106685A (ja) * | 2012-11-27 | 2014-06-09 | Osaka Univ | 車両周辺監視装置 |
JP6214236B2 (ja) * | 2013-03-05 | 2017-10-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP6104010B2 (ja) * | 2013-03-26 | 2017-03-29 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6474107B2 (ja) * | 2013-06-28 | 2019-02-27 | 日本電気株式会社 | 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム |
JP6525617B2 (ja) * | 2015-02-03 | 2019-06-05 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6444283B2 (ja) * | 2015-08-31 | 2018-12-26 | セコム株式会社 | 姿勢判定装置 |
JP2017067954A (ja) * | 2015-09-29 | 2017-04-06 | オリンパス株式会社 | 撮像装置、及び撮像装置の像ブレ補正方法 |
JP2017182129A (ja) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 情報処理装置。 |
JP6701979B2 (ja) * | 2016-06-01 | 2020-05-27 | 富士通株式会社 | 学習モデル差分提供プログラム、学習モデル差分提供方法、および学習モデル差分提供システム |
CN106227335B (zh) * | 2016-07-14 | 2020-07-03 | 广东小天才科技有限公司 | 预习讲义与视频课程的交互学习方法及应用学习客户端 |
JP6765917B2 (ja) * | 2016-09-21 | 2020-10-07 | キヤノン株式会社 | 探索装置及び、その撮像装置及び、探索方法 |
CN106600548B (zh) * | 2016-10-20 | 2020-01-07 | 广州视源电子科技股份有限公司 | 鱼眼摄像头图像处理方法和系统 |
CN106952335B (zh) * | 2017-02-14 | 2020-01-03 | 深圳奥比中光科技有限公司 | 建立人体模型库的方法及其系统 |
JP6542824B2 (ja) * | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
-
2019
- 2019-09-24 US US17/277,837 patent/US20210281745A1/en not_active Abandoned
- 2019-09-24 JP JP2020556668A patent/JP7472795B2/ja active Active
- 2019-09-24 CN CN201980072799.6A patent/CN112997214B/zh active Active
- 2019-09-24 WO PCT/JP2019/037337 patent/WO2020100438A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268562A (ja) | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | ライブ映像の自動収録方法および装置 |
JP2009211294A (ja) | 2008-03-03 | 2009-09-17 | Nippon Hoso Kyokai <Nhk> | ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム |
JP6176542B2 (ja) | 2015-04-22 | 2017-08-09 | パナソニックIpマネジメント株式会社 | 電子部品ボンディングヘッド |
Non-Patent Citations (1)
Title |
---|
Norimichi Ukita, et al.,"High-resolution Performance Capture by Zoom-in Pan-tilt Cameras",Proceedings of the 2012 Second Joint International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission,2012年10月15日,Pages 356-362,ISBN: 978-0-7695-4873-9, <DOI: 10.1109/3DIMPVT.2012.8>. |
Also Published As
Publication number | Publication date |
---|---|
WO2020100438A1 (ja) | 2020-05-22 |
US20210281745A1 (en) | 2021-09-09 |
JPWO2020100438A1 (ja) | 2021-09-30 |
CN112997214A (zh) | 2021-06-18 |
CN112997214B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7363767B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
CN110168605B (zh) | 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质 | |
JP7218728B2 (ja) | 制御装置および制御方法 | |
WO2018221068A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7143846B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7472795B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020202904A1 (ja) | 信号処理装置、撮像装置、信号処理方法 | |
CN108353144B (zh) | 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法 | |
JP7264051B2 (ja) | 画像処理装置および画像処理方法 | |
JP7135869B2 (ja) | 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置 | |
US11729493B2 (en) | Image capture apparatus and image capture method | |
JP7136093B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JPWO2019167555A1 (ja) | 映像信号処理装置、映像信号処理方法および撮像装置 | |
US11902692B2 (en) | Video processing apparatus and video processing method | |
WO2020203265A1 (ja) | 映像信号処理装置、映像信号処理方法および撮像装置 | |
JP7444074B2 (ja) | 撮像装置、撮像制御装置、撮像方法 | |
JPWO2019049595A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2020246181A1 (ja) | 画像処理装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7472795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |