堅牢性とデータ性

Ingegneria Biomedica della Natura

Nature Biomedical Engineering (2023)この記事を引用

32 オルトメトリック

メトリクスの詳細

医療業務用の機械学習モデルは、臨床専門家のパフォーマンスに匹敵するか、それを超える可能性があります。ただし、トレーニングデータセットの設定とは異なる設定では、モデルのパフォーマンスが大幅に低下する可能性があります。今回我々は、このような「分布外」パフォーマンス問題を軽減し、モデルの堅牢性とトレーニング効率を向上させる、医療画像処理タスクに適用される機械学習モデルの表現学習戦略を報告します。私たちが REMEDIS (自己教師付き堅牢で効率的な医用画像処理) と名付けたこの戦略は、自然画像に対する大規模な教師あり転移学習と、医療画像に対する中間のコントラスト自己教師あり学習を組み合わせたもので、タスク固有のカスタマイズは最小限で済みます。私たちは、6 つのイメージングドメインと 15 のテストデータセットをカバーするさまざまな画像診断タスクにおける REMEDIS の有用性を、3 つの現実的な分布外シナリオをシミュレートすることによって示します。 REMEDIS は、強力な教師ありベースラインモデルと比較して、配布内の診断精度を最大 11.5% 向上させました。また、配布外の設定では、利用可能なすべてのデータを使用して再トレーニングされた教師ありモデルのパフォーマンスと一致するために、再トレーニングに必要なデータはわずか 1 ～ 33% でした。 REMEDIS は、医療画像用の機械学習モデルの開発ライフサイクルを加速する可能性があります。

これはサブスクリプションコンテンツのプレビューです。教育機関経由でアクセスできます

Nature およびその他の 54 の Nature Portfolio ジャーナルにアクセス

Nature+ を入手、最もお得なオンラインアクセスサブスクリプション

$29.99 / 30 日

いつでもキャンセル

このジャーナルを購読する

12 冊のデジタル号を受け取り、記事にオンラインでアクセスできます

年間 79.00 ドル

1 号あたりわずか 6.58 ドル

この記事をレンタルまたは購入する

必要なだけこの記事だけを入手してください

$39.95

価格にはチェックアウト時に計算される地方税が適用される場合があります

Northwestern Medicine と Apollo Hospitals のデータセットは、現在の研究のためにライセンスに基づいて使用されており、一般には公開されていません。 Optimam データベースへのアクセス申請は、この Web フォームを使用して行うことができます。この研究で使用された匿名化された遠隔皮膚科学データは、データ共有契約の制限により公開されていません。 DME 分類に使用されるラベルなしのデータセットは、EyePACS Inc. の匿名化データです。興味のある研究者は、[email protected] に連絡して EyePACSdata へのアクセスについて問い合わせ、研究開発局に連絡して VA データへのアクセスについて問い合わせてください。 ID および OOD DME 分類タスク用の注釈付きデータの残りは、タイのラジャヴィティ病院とライオンズアイ研究所で収集されたものであり、データ共有契約の制限により公開されていません。 MIMIC-CXR、CheXpert、ChestX-ray 14 など、胸部 X 線状態分類の評価と事前トレーニングに使用されるデータは公開されています。 ID の微調整と転移検出の評価に使用されるデータは、CAMELYON チャレンジ Web サイトで公開されています。病理に基づく転移検出タスクと生存予測タスクの両方の事前トレーニングに使用される TCGA データは、NIH の Web サイトから入手できます。病理学タスクで使用される残りのデータは、データ共有契約の制限により公開されていません。さらに、ベースライン教師ありモデルの事前学習に使用される ImageNet-1K (ILSVRC-2012)68 と BiT-M モデルの事前学習に使用される ImageNet-21K は、ImageNet Web サイトから公開されています。 JFT-300M54 データセットでトレーニングされた BiT-L モデルは、データ共有契約の制限により一般公開されていません。

作業のいくつかの主要コンポーネントは、T ライブラリなどのオープンソースリポジトリで入手できます。自己教師あり事前トレーニングに使用されるコードベースと事前トレーニングされた重みは、S で入手できます。BiT モデルのコードベースと事前トレーニングされた重みは、B で入手できます。すべての実験と実装の詳細は、方法と補足情報で十分に詳細に説明されています。非独自ライブラリを使用したレプリケーション。 ResNet-RS との比較に使用したコードベースは R に基づいていました。REMEDIS を通じて生成された多くのチェックポイントとモデルは、研究者が P 経由で簡単にアクセスできます。さらに、GitHub 上の Foundation Medical ML リポジトリは、次のようなコードへのアクセスを提供します。 REMEDIS ベースのモデルのトレーニングに使用されます。

LeCun, Y.、Bengio, Y.、ヒントン, G. 深層学習。ネイチャー 521、436–444 (2015)。

論文 CAS PubMed Google Scholar

Yala, A.、Lehman, C.、Schuster, T.、Portnoi, T. & Barzilay, R. 乳がんリスク予測を改善するための深層学習マンモグラフィーベースのモデル。放射線学 292、60–66 (2019)。

論文 PubMed Google Scholar

ウー、N.ら。ディープニューラルネットワークは、乳がんスクリーニングにおける放射線科医のパフォーマンスを向上させます。 IEEEトランス。医学。イメージング 39、1184–1194 (2019)。

論文 PubMed PubMed Central Google Scholar

SMマッキニーら。乳がん検診用 AI システムの国際評価。 Nature 577、89–94 (2020)。

論文 CAS PubMed Google Scholar

Rajpurkar、P. et al. 胸部 X 線写真診断のためのディープラーニング: 現役放射線科医に対する CheXNeXt アルゴリズムの遡及比較。 PLoS医学。 15、e1002686 (2018)。

論文 PubMed PubMed Central Google Scholar

エステバ、A.ら。ディープニューラルネットワークを使用した皮膚科医レベルの皮膚がんの分類。ネイチャー 542、115–118 (2017)。

論文 CAS PubMed PubMed Central Google Scholar

Liu、Y.ら。皮膚疾患の鑑別診断のための深層学習システム。ナット。医学。 26、900–908 (2020)。

論文 CAS PubMed Google Scholar

Bera, K.、Shalper, KA、Rimm, DL、Velcheti, V.、Madabhushi, A. デジタル病理学における人工知能 - 診断と高精度腫瘍学の新しいツール。ナット。クリン牧師。オンコル。 16、703–715 (2019)。

論文 PubMed PubMed Central Google Scholar

ラカ、EA 他病理学における人工知能の現在および将来の応用: 臨床的観点。Ｊ．クリン．パソル。 74、409–414 (2021)。

論文 CAS PubMed Google Scholar

Wulczyn, E. et al. 深層学習を使用した結腸直腸がんの解釈可能な生存予測。 npj 数字。医学。 4、71（2021）。

論文 PubMed PubMed Central Google Scholar

ガルシャン、V.ら。網膜眼底写真から糖尿病網膜症を検出するためのディープラーニングアルゴリズムの開発と検証。 JAMA 316、2402–2410 (2016)。

論文 PubMed Google Scholar

De Fauw、J. et al. 網膜疾患の診断と紹介のための臨床応用可能な深層学習。ナット。医学。 24、1342–1350 (2018)。

論文 PubMed Google Scholar

周、SKら。医用画像処理におけるディープラーニングのレビュー: 画像処理の特性、技術トレンド、進歩のハイライトを含むケーススタディ、および将来の期待。手順 IEEE 109、820–838 (2021)。

記事 CAS Google Scholar

コンドン、JJJ 他マンモグラフィー検査用のオープンアクセス深層学習システムの複製: パフォーマンスの低下は、ローカルデータでの再トレーニングによって軽減されます。 medRxiv https://doi.org/10.1101/2021.05.28.21257892 (2021) でプレプリント。

ゼック、JR 他胸部 X 線写真で肺炎を検出するための深層学習モデルの可変一般化パフォーマンス: 断面研究。 PLoS医学。 15、e1002683 (2018)。

論文 PubMed PubMed Central Google Scholar

Zhang、H.ら。臨床現場における領域一般化のための経験的フレームワーク。プロセスで。 Conference on Health, Inference, and Learning (Ghassemi, M. 他編) 279–290 (Association for Computing Machinery、2021)。

Seyyed-Kalantari, L.、Liu, G.、McDermott, M.、Chen, IY & Ghassemi, M. CheXclusion: 深部胸部 X 線分類器における公平性のギャップ。パック。症状バイオコンピューティング。 26、232–243 (2021)。

PubMed Google Scholar

Kadambi, A. 医療機器の公平性の実現。サイエンス 372、30–31 (2021)。

論文 CAS PubMed Google Scholar

Pierson, E.、Cutler, DM、Leskovec, J.、Mullainathan, S.、Obermeyer, Z. 十分なサービスを受けられていない集団における説明のつかない痛みの格差を減らすためのアルゴリズム的アプローチ。ナット。医学。 27、136–140 (2021)。

医療における人工知能: 患者ケアを強化するテクノロジーの利点と課題 (米国会計検査局、2020 年)。

Kelly, CJ、Karthikesalingam, A.、Suleyman, M.、Corrado, G.、King, D. 人工知能で臨床効果をもたらすための主な課題。 BMC医学。 17、195 (2019)。

論文 PubMed PubMed Central Google Scholar

ロバーツ、M.ら。胸部 X 線写真や CT スキャンを使用して、機械学習を使用して新型コロナウイルス感染症 (COVID-19) を検出および予測する場合の一般的な落とし穴と推奨事項。ナット。マッハ。知性。 3、199–217 (2021)。

記事 Google Scholar

Van Leeuwen, KG、Schalekamp, S.、Rutten, MJ、van Gineken, B. & de Rooij, M. 放射線医学における人工知能: 100 の市販製品とその科学的証拠。ユーロ。ラジオル。 31、3797–3804 (2021)。

論文 PubMed PubMed Central Google Scholar

フリーマン、Ｋ．ら。乳がんスクリーニングプログラムにおける画像分析のための人工知能の使用: 検査精度の体系的なレビュー。 bmj 374、n1872 (2021)。

論文 PubMed PubMed Central Google Scholar

ダムール、A. 他過小仕様は、最新の機械学習の信頼性に課題をもたらします。 J.マッハ。学ぶ。解像度 23、1–61 (2020)。

Google スカラー

フィンレイソン、SG et al. 人工知能における臨床医とデータセットの変化。Ｎ．Ｅｎｇｌ． J.Med. 386、283–286 (2020)。

Google スカラー

Futoma, J.、Simons, M.、Panch, T.、Doshi-Velez, F.、Celi, LA 臨床研究における一般化可能性の神話と医療における機械学習。ランセットディグ。健康 2、e489–e492 (2020)。

記事 Google Scholar

ウィレミンク、MJ 他機械学習用に医療画像データを準備します。放射線学 295、4–15 (2020)。

論文 PubMed Google Scholar

Li, F.-F.、Fergus, R.、Perona, P. オブジェクトカテゴリのワンショット学習。 IEEEトランス。パターンアナル。マッハ。知性。 28、594–611 (2006)。

記事 Google Scholar

Zhu, X.、Ghahramani, Z. & Lafferty, JD ガウス場と調和関数を使用した半教師あり学習。プロセスで。第 20 回機械学習に関する国際会議 (Fawcett, T. および Mishra, N. 編) 912–919 (AAAI Press、2003)。

Cohn, D.、Atlas, L. & Ladner, R. アクティブラーニングによる一般化の改善。マッハ。学ぶ。 15、201–221 (1994)。

記事 Google Scholar

Sutton, RS 強化学習における一般化: スパース粗いコーディングを使用した成功例。上級神経情報プロセス。システム。 8、1038–1044 (1996)。

Google スカラー

Doersch, C.、Gupta, A.、Efros, AA コンテキスト予測による教師なし視覚表現学習。プロセスで。コンピュータービジョンに関する IEEE 国際会議 1422 ～ 1430 (IEEE、2015)。

Doersch, C. & Zisserman, A. マルチタスクの自己教師あり視覚学習。プロセスで。コンピュータービジョンに関する IEEE 国際会議 2070 ～ 2079 (IEEE、2017)。

Gidaris, S.、Singh, P.、Komodakis, N. 画像の回転を予測することによる教師なし表現学習。プレプリントは https://arxiv.org/abs/1803.07728 (2018) にあります。

Pathak, D.、Krahenbuhl, P.、Donahue, J.、Darrell, T. & Efros, AA コンテキストエンコーダー: インペインティングによる特徴学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE 会議 2536 ～ 2544 (IEEE、2016)。

Larsson, G.、Maire, M.、Shakhnarovich, G. 視覚的理解のための代理タスクとしての色付け。プロセスで。コンピュータービジョンとパターン認識に関する IEEE 会議 6874–6883 (IEEE、2017)。

Devlin, J.、Chang, M.-W.、Lee, K. & Toutanova, K. Bert: 言語理解のための深い双方向トランスフォーマーの事前トレーニング。プレプリントは https://arxiv.org/abs/1810.04805 (2018) にあります。

ブラウン、TB et al. 言語モデルは少数回の学習です。上級神経情報プロセスシステム 33、1877–1901 (2020)。

Google スカラー

Baevski, A.、Auli, M.、Mohamed, A. 音声認識のための自己教師付き事前トレーニングの有効性。プレプリントは https://arxiv.org/abs/1911.03912 (2019) にあります。

チェン、L.ら。画像コンテキスト復元を使用した医用画像解析の自己教師あり学習。医学。アナル画像。 58、101539 (2019)。

論文 PubMed PubMed Central Google Scholar

He, K.、Fan, H.、Wu, Y.、Xie, S. & Girshick, R. 教師なし視覚表現学習の勢いのコントラスト。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 9729–9738 (IEEE、2020)。

グリル、J.-B. 他。自分自身の潜在能力をブートストラップする: 自己教師あり学習への新しいアプローチ。上級神経情報プロセス。システム。 33、21271–21284 (2020)。

Google スカラー

Chen, T.、Kornblith, S.、Norouzi, M. & Hinton, G. 視覚表現の対比学習のためのシンプルなフレームワーク。プロセスで。第 37 回機械学習国際会議 (Daume, H. および Singh, A. 編) 1597 ～ 1607 年 (JMLR、2020)。

Deng, J. et al. Imagenet: 大規模な階層型画像データベース。 2009 年のコンピュータービジョンとパターン認識に関する IEEE 会議 248–255 (IEEE、2009)。

He、K.、Zhang、X.、Ren、S.、Sun、J. 画像認識のための深層残差学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE 会議 770–778 (IEEE、2016)。

Touvron, H. et al. 注意によるデータ効率の高い画像変換と抽出のトレーニング。プロセスで。第 38 回機械学習に関する国際会議 (Meila, M. および Zhang, T. 編) 10347–10357 (PMLR、2021)。

Liu, H. & Abbeel, P. 対照学習によるハイブリッド識別生成トレーニング。プレプリントは https://arxiv.org/abs/2007.09070 (2020) にあります。

ウィンケンズ、J.ら。分布外検出を改善するための対照トレーニング。プレプリントは https://arxiv.org/abs/2007.05566 (2020) にあります。

Shen、K.ら。崩壊ではなく接続: 教師なしドメイン適応のための対照学習について説明します。プロセスで。第 39 回機械学習国際会議 (Chaudhuri, K. 他編) 19847 ～ 19878 年 (PMLR、2022)。

HaoChen, JZ、Wei, C.、Kumar, A. & Ma, T. 分離可能性を超えて: 関連する部分集団への対照的表現の線形伝達可能性の分析。 https://arxiv.org/abs/2204.02683 (2022) でプレプリント。

コレスニコフ、A.ら。 Big Transfer (BiT): 一般的な視覚表現の学習。プロセスで。 European Conference on Computer Vision (Vedaldi, A. 他編) 491–507 (Springer、2020)。

Huh, M.、Agrawal、P.、Efros, AA ImageNet が転移学習に適している理由は何ですか? プレプリントは https://arxiv.org/abs/1608.08614 (2016) にあります。

Sun, C.、Shrivastava, A.、Singh, S.、Gupta, A. 深層学習時代におけるデータの不合理な有効性を再考します。プロセスで。コンピュータービジョンに関する IEEE 国際会議 843–852 (IEEE、2017)。

マハジャン、D. et al. 弱い教師付き事前トレーニングの限界を探ります。プロセスで。 European Conference on Computer Vision (Ferrari, V. 他編) 185–201 (Springer、2018)。

Houlsby, N. & Zhai, X. 視覚タスク適応ベンチマーク (Google Research、2019)。

ムスタファ、B.ら。医療画像向けの大規模な教師付き転移学習。 https://arxiv.org/abs/2101.05913 (2021) でプレプリント。

Raghu, M.、Zhang, C.、Kleinberg, J.、Bengio, S. 輸血: 医用画像処理のための転移学習の理解。上級神経情報プロセス。システム。 33、3347–3357 (2019)。

Hendrycks, D.、Lee, K.、Mazeika, M. 事前トレーニングを使用すると、モデルの堅牢性と不確実性を向上させることができます。プロセスで。第 36 回機械学習に関する国際会議 (Chaudhuri, K. および Salakhutdinov, R. 編) 2712–2721 (PMLR、2019)。

Li, J.、Lin, T. & Xu, Y. SSLP: 病理画像に関する空間誘導自己教師あり学習。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (de Bruijne, M. et al. 編) 3–12 (Springer、2021)。

シリニディ、CL & アラバマ州マーテル硬度を意識した動的カリキュラム学習による自己教師あり学習の改善: デジタル病理学への応用。プロセスで。コンピュータービジョンに関する IEEE/CVF 国際会議 562–571 (IEEE、2021)。

アジジ、S.ら。大きな自己教師ありモデルにより、医療画像の分類が進歩します。 IEEE/CVF International Conference on Computer Vision (ICCV) 3458–3468 (IEEE、2021)。

Sowrirajan, H.、Yang, J.、Ng, AY、Rajpurkar, P. MoCo の事前トレーニングにより、胸部 X 線モデルの表現と転送可能性が向上します。プロセスで。第 4 回深層学習による医用画像処理会議 (Heinrich, M. 他編) 728–744 (PMLR、2021)。

Zhou、Z.ら。モデルの生成: 3D 医用画像解析のための一般的な独習モデル。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (Shen, D. 他編) 384–393 (2019)。

Liu、X.ら。自己教師あり学習: 生成的学習または対照的学習。 IEEEトランス。知ってください。データ工学 35、857–876 (2023)。

Google スカラー

Wang、X.ら。 Chestx-ray8: 病院規模の胸部 X 線データベースと、一般的な胸部疾患の弱い教師による分類と位置特定に関するベンチマーク。プロセスで。コンピュータービジョンとパターン認識に関する IEEE 会議 3462–3471 (IEEE、2017)。

Hendrycks、D. et al. 事前トレーニングされたトランスフォーマーにより、配布外の堅牢性が向上します。プレプリントは https://arxiv.org/abs/2004.06100 (2020) にあります。

Russakovsky、O.ら。 Imagenet の大規模視覚認識チャレンジ。内部。Ｊ．Ｃｏｍｐｕｔ．ヴィス。 115、211–252 (2015)。

記事 Google Scholar

アルズバイディ、L.ら。ハイブリッドディープ畳み込みニューラルネットワークモデルからの同じドメイン転移学習を採用することにより、乳がん分類のパフォーマンスを最適化します。エレクトロニクス 9、445 (2020)。

記事 Google Scholar

Graziani, M.、Andrearczyk, V. & Müller, H. 組織病理学のための事前学習済み CNN の特徴再利用の視覚化と解釈。プロセスで。 IMVIP 2019: アイルランドのマシンビジョンと画像処理 (ダブリン工科大学、2019)。

Wu, Y. & He, K. グループの正常化。プロセスで。ヨーロッパコンピュータビジョン会議 (ECCV) 3–19 (2018)。

Chen, T.、Kornblith, S.、Swersky, K.、Norouzi, M. & Hinton, G. 大きな自己教師ありモデルは強力な半教師あり学習者です。上級神経情報プロセス。システム。 33、22243–22255 (2020)。

Google スカラー

Becker, S. & Hinton, GE ランダムドットステレオグラムの表面を発見する自己組織化ニューラルネットワーク。 Nature 355、161–163 (1992)。

論文 CAS PubMed Google Scholar

ヴァージリ、G. et al. 糖尿病性網膜症患者の黄斑浮腫を検出するための光干渉断層撮影 (OCT)。コクランデータベースシステム Rev. 1、CD008081 (2015)。

PubMed Google Scholar

Liu、X.ら。網膜写真から光干渉断層撮影法由来の糖尿病性黄斑浮腫を検出するための深層学習: 多施設検証研究。眼科。 Retina 6、398–410 (2022)。

論文 PubMed Google Scholar

ブラウン、JCら。糖尿病性中心窩浮腫の検出: コンタクトレンズ生体顕微鏡検査と光干渉断層撮影法との比較。アーチ。眼科。 122、330–335 (2004)。

論文 PubMed Google Scholar

サッダ、SR 他グリッドスキャン光コヒーレンストモグラフィーによる臨床的に重大な黄斑浮腫の自動検出。眼科 113、1187.e1-12 (2006)。

論文 PubMed Google Scholar

アービン、J.ら。 Chexpert: 不確実性ラベルと専門家による比較を備えた大規模な胸部 X 線写真データセット。手順会議 AAAI アーティフ。知性。 33、590–597 (2019)。

ジョンソン、A.E. 他 MIMIC-CXR は、フリーテキストレポートを備えた匿名化された公開されている胸部 X 線写真データベースです。科学。データ6、317（2019）。

論文 PubMed PubMed Central Google Scholar

Neyshabur, B.、Sedghi, H.、Zhang, C. 転移学習では何が転送されますか? 上級神経情報プロセス。システム。 33、512–523 (2020)。

Google スカラー

Ilse, M.、Tomczak, J.、Welling, M. アテンションベースの深層複数インスタンス学習。プロセスで。第 35 回機械学習国際会議 (Dy, J. および Krause, A. 編) 2127 ～ 2136 年 (PMLR、2018)。

Bejnordi, BE et al. 乳がん女性のリンパ節転移を検出するための深層学習アルゴリズムの診断評価。 JAMA 318、2199–2210 (2017)。

記事 Google Scholar

Vu、YNTら。 MedAug: 患者のメタデータを活用した対照学習により、胸部 X 線読影の表現が向上します。プロセスで。第 6 回ヘルスケアのための機械学習カンファレンス (Jung, K. 他編) 755–769 (PMLR、2021)。

Chen, X.、Fan, H.、Girshick, R. & He, K. 運動量対比学習によるベースラインの改善。プレプリントは https://arxiv.org/abs/2003.04297 (2020) にあります。

Mitrovic, J.、McWilliams, B.、Walker, J.、Buesing, L.、Blundell, C. 不変因果メカニズムによる表現学習。プレプリントは https://arxiv.org/abs/2010.07922 (2020) にあります。

Zbontar, J.、Jing, L.、Misra, I.、LeCun, Y. & Deny, S. Barlow の双子: 冗長性削減による自己教師あり学習。プロセスで。第 38 回機械学習に関する国際会議 (Meila, M. および Zhang, T. 編) 12310–12320 (PMLR、2021)。

ダンモン、JA et al. クロスモーダルデータプログラミングにより、迅速な医療機械学習が可能になります。パターン 1、100019 (2020)。

論文 PubMed PubMed Central Google Scholar

カンパネルラ、G. et al. スライド画像全体に対して弱教師あり深層学習を使用した、臨床グレードの計算病理学。ナット。医学。 25、1301–1309 (2019)。

論文 CAS PubMed PubMed Central Google Scholar

Eyuboglu, S. et al. マルチタスクの弱監視により、全身のFDG-PET/CTにおける解剖学的に解決された異常検出が可能になります。ナット。共通。 1880 年 12 日 (2021 年)。

論文 CAS PubMed PubMed Central Google Scholar

Bakalo, R.、Ben-Ari, R. & Goldberger, J. デュアルブランチディープニューラルネットによる弱い監視によるマンモグラムの分類と検出。 IEEE 16th International Symposium on Biomedical Imaging (ISBI) 1905–1909 (IEEE、2019)。

ウェンゼル、F.ら。転移学習における分布外一般化の評価。上級神経情報プロセス。システム。 35、7181–7198 (2022)。

Google スカラー

Hendrycks, D. & Dietterich, T. 一般的な破損や摂動に対するニューラルネットワークの堅牢性をベンチマークします。プレプリントは https://arxiv.org/abs/1903.12261 (2019) にあります。

Wang, Z.、Dai, Z.、Póczos, B. & Carbonell, J. マイナス転移の特徴付けと回避。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 11285–11294 (IEEE、2019)。

Gulrajani, I. & Lopez-Paz, D. 失われたドメインの一般化を求めて。プレプリントは https://arxiv.org/abs/2007.01434 (2020) にあります。

Vapnik、VN 統計的学習理論 (Wiley-Interscience、1998)。

Zhang, H.、Cisse, M.、Dauphin, YN & Lopez-Paz, D. の混同: 経験的なリスク最小化を超えて。プレプリントは https://arxiv.org/abs/1710.09412 (2017) にあります。

Goyal、P. et al. 野生環境における視覚的特徴の自己監視型事前トレーニング。 https://arxiv.org/abs/2103.01988 (2021) でプレプリント。

Bubeck, S. & Sellke, M. 等周測定によるロバスト性の普遍的な法則。 J. ACM 70、1–18 (2023)。

記事 Google Scholar

Ericsson, L.、Gouk, H.、Hospedales, TM 自己教師ありモデルはどの程度うまく伝達されますか? プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 5410–5419 (IEEE、2021)。

Chen, X. & He, K. 単純なシャム表現学習の探索。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 15745–15753 (IEEE、2021)。

Ciga, O.、Martel, AL & Xu, T. デジタル組織病理学のための自己教師あり対比学習。マッハ。学ぶ。 7、100198 (2022)。

Google スカラー

Taher, MRH、Haghighi, F.、Gotway, MB & Liang, J. CAiD: 医用画像処理における自己教師あり学習のためのコンテキスト認識型インスタンス識別。プロセスで。第 5 回深層学習による医用画像処理に関する国際会議 (Konukoglu、E. 他編) 535–551 (PMLR、2022)。

Taher, MRH、Haghighi, F.、Feng, R.、Gotway, MB & Liang, J.、ドメイン適応と表現移管、およびリソース多様なグローバルヘルスのための手頃な価格のヘルスケアと AI (Albarqouni, S. 他編) 3 –13 (スプリンガー、2021)。

Xie, Q.、Luong, M.-T.、Hovy, E. & Le, QV 騒々しい学生との自己トレーニングにより、imagenet の分類が向上します。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 10684–10695 (IEEE、2020)。

シリニディ、CL、キム、SW、チェン、F.-D. & Martel、アラバマ州アノテーションの効率的な組織病理学画像分析のための自己監視型一貫性トレーニング。医学。アナル画像。 75、102256 (2022)。

論文 PubMed Google Scholar

リー、Ｚら。マルチスタイルおよびマルチビューの対照学習によるマンモグラフィ検出の領域一般化。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (de Bruijne, M. et al. 編) 98–108 (Springer、2021)。

佐藤純ほか胸部 X 線写真の異常検出のための、解剖学を意識した自己教師あり学習。 https://arxiv.org/abs/2205.04282 (2022) でプレプリント。

ワーツマン、M.ら。ゼロショットモデルの堅牢な微調整。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 7959–7971 (IEEE、2022)。

Nguyen, T.、Raghu, M.、Kornblith, S. 幅広いネットワークと深いネットワークは同じことを学習しますか? ニューラルネットワークの表現が幅と深さによってどのように変化するかを明らかにします。プレプリントは https://arxiv.org/abs/2010.15327 (2020) にあります。

Dosovitskiy、A. et al. 画像は 16x16 ワードの価値があります。大規模な画像認識のためのトランスフォーマーです。学習表現に関する国際会議 (ICLR) (OpenReview、2021 年)。

He、K.、Zhang、X.、Ren、S.、Sun、J. 深い残差ネットワークにおけるアイデンティティマッピング。 European Conference on Computer Vision (Leibe, B. et al. 編) 630–645 (Springer、2016)。

Ioffe, S. & Szegedy, C. バッチ正規化: 内部共変量シフトを削減することでディープネットワークトレーニングを加速します。プロセスで。第 32 回機械学習国際会議 (Bach, F. および Blei, D. 編) 448–456 (2015)。

Qiao, S.、Wang, H.、Liu, C.、Shen, W.、Yuille, A. バッチチャネル正規化と重み標準化を使用したマイクロバッチトレーニング。プレプリントは https://arxiv.org/abs/1903.10520 (2019) にあります。

You, Y.、Gitman, I.、Ginsburg, B. 畳み込みネットワークの大規模バッチトレーニング。プレプリントは https://arxiv.org/abs/1708.03888 (2017) にあります。

Castro, E.、Cardoso, JS、Pereira, JC 乳がん腫瘤検出におけるデータ拡張のための弾性変形。 IEEE EMBS International Conference on Biomedical and Health Informatics (BHI) 230–234 (IEEE、2018) において。

Ronneberger, O.、Fischer, P. & Brox, T. U-net: 生物医学画像セグメンテーション用の畳み込みネットワーク。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (Navab, N. et al. 編) 234–241 (Springer、2015)。

セゲディ、C.ら。畳み込みでさらに深くなる。プロセスで。コンピュータービジョンとパターン認識に関する IEEE 会議 1 ～ 9 (IEEE、2015)。

Tripuraneni, N.、Jordan, MI & Jin, C. 転移学習の理論について: タスクの多様性の重要性。上級神経情報プロセス。システム。 33、7852–7862 (2020)。

Google スカラー

Du、SS、Hu、W.、Kakade、SM、Lee、JD、Lei、Q. 表現の学習による少数ショット学習。プレプリントは https://arxiv.org/abs/2002.09434 (2020) にあります。

Kingma, DP & Ba, J. Adam: 確率的最適化の手法。プレプリントは https://arxiv.org/abs/1412.6980 (2014) にあります。

Loshchilov, I. & Hutter, F. Sgdr: ウォームリスタートによる確率的勾配降下法。プレプリントは https://arxiv.org/abs/1608.03983 (2016) にあります。

Goyal、P. et al. 正確で大規模なミニバッチ sgd: imagenet を 1 時間でトレーニングします。プレプリントは https://arxiv.org/abs/1706.02677 (2017) にあります。

Bengio, Y.、Goodfellow, I.、Courville, A. Deep Learning (MIT Press、2017)。

Wang, M. & Deng, W. 深い視覚領域への適応: 調査。ニューロコンピューティング 312、135–153 (2018)。

記事 Google Scholar

Bello, I. et al. resnet の再考: トレーニングとスケーリング戦略の改善。上級神経情報プロセス。システム。 34、22614–22627 (2021)。

Google スカラー

バラダラジャン、AV 他深層学習を使用して眼底写真から光干渉断層撮影法由来の糖尿病黄斑浮腫のグレードを予測します。ナット。共通。 11、130（2020）。

論文 CAS PubMed PubMed Central Google Scholar

ウィンクラー、JK 他ダーモスコピー画像における外科的皮膚マーキングと、黒色腫認識のための深層学習畳み込みニューラルネットワークの診断パフォーマンスとの関連性。 JAMAダーマトール。 155、1135–1141 (2019)。

論文 PubMed PubMed Central Google Scholar

シーア、JC 他放射線科医による胸部 X 線読影の精度に対する包括的な深層学習モデルの効果: 遡及的なマルチリーダーによるマルチケース研究。ランセットディジット。健康 3、e496–e506 (2021)。

論文 CAS PubMed Google Scholar

ヘイグッド、TM et al. デジタルおよびフィルムスクリーンスクリーニングマンモグラムの解釈を時間制限付きで効率的に行うことができます。 AJRアム。 J.レントゲノール。 192、216–220 (2009)。

論文 PubMed PubMed Central Google Scholar

ジェイン、A.ら。遠隔皮膚科診療におけるプライマリケア医師および看護師による皮膚状態診断のための人工知能ベースのツールの開発と評価。自工会ネットワーク。 4、e217249 (2021) を開きます。

論文 PubMed PubMed Central Google Scholar

ピュー、JA et al. 糖尿病性網膜症のスクリーニング: 広角眼底カメラ。糖尿病ケア 16、889–895 (1993)。

論文 CAS PubMed Google Scholar

Schölkopf、B. et al. 因果表現の学習に向けて。手順 IEEE 109、612–634 (2021)。

記事 Google Scholar

Bengio, Y.、Courville, A.、Vincent, P. 表現学習: レビューと新しい視点。 IEEEトランス。パターンアナル。マッハ。知性。 35、1798–1828 (2013)。

論文 PubMed Google Scholar

Liu, J.、Hu, Z.、Cui, P.、Li, B.、Shen, Z. 異種リスクの最小化。プロセスで。第 38 回機械学習に関する国際会議 (Meila, M. および Zhang, T 編) 6804–6814 (PMLR、2021)。

Robey, A.、Pappas, GJ & Hassani, H. モデルベースのドメイン一般化。上級神経情報プロセス。システム。 34、20210–20229 (2021)。

Google スカラー

Shen、Z.ら。流通外の一般化に向けて: 調査。プレプリントは https://arxiv.org/abs/2108.13624 (2021) にあります。

Wang、J.ら。目に見えないドメインへの一般化: ドメインの一般化に関する調査。 IEEEトランス。知ってください。データ工学（2022年）。

Zhou, K.、Liu, Z.、Qiao, Y.、Xiang, T. & Loy, CC ドメインの一般化: 調査。 https://arxiv.org/abs/2103.02503 (2021) でプレプリント。

ロカテロ、F.ら。もつれの解けた表現の教師なし学習における一般的な仮定に挑戦します。プロセスで。第 36 回機械学習に関する国際会議 (Chaudhuri, K. および Salakhutdinov, R. 編) 4114–4124 (PMLR、2019)。

ゲイホス、R. et al. ImageNet でトレーニングされた CNN はテクスチャに偏っています。形状バイアスを増加させると、精度と堅牢性が向上します。プレプリントは https://arxiv.org/abs/1811.12231 (2018) にあります。

ゲイホス、R. et al. 人間とディープニューラルネットワークにおける一般化。上級神経情報プロセス。システム。 31、7538–7550 (2018)。

Google スカラー

Kim, H. & Mnih, A. 因数分解による解きほぐし。プロセスで。第 35 回機械学習に関する国際会議 (Dy, J. および Krause, A. 編) 2649–2658 (PMLR、2018)。

ヤン、M.ら。 CausalVAE: 神経構造因果モデルによる解きほぐされた表現学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 9588–9597 (IEEE、2021)。

リーブ、F.ら。アーキテクチャによる構造: 正則化を行わずに解きほぐされた表現。プレプリントは https://arxiv.org/abs/2006.07796 (2020) にあります。

Träuble、F. et al. 相関データから学習したもつれの解けた表現について。プロセスで。第 38 回機械学習に関する国際会議 (Meila, M. および Zhang, T. 編) 10401–10412 (PMLR、2021)。

ディッタディ、A.ら。現実的な設定におけるもつれの解けた表現の転送について。プレプリントは https://arxiv.org/abs/2010.14407 (2020) にあります。

Andreassen, A.、Bahri, Y.、Neyshabur, B. & Roelofs, R. 微調整による分散外ロバスト性の進化。 https://arxiv.org/abs/2106.15831 (2021) でプレプリント。

ラドフォード、A.ら。自然言語の監視から転送可能な視覚モデルを学習します。プロセスで。第 38 回機械学習に関する国際会議 (Meila, M. および Zhang, T. 編) 8748–8763 (PMLR、2021)。

田織 R. 他堅牢性が堅牢性を促進しない場合: ImageNet での合成分散と自然分散の変化。学習表現に関する国際会議（ICLR）にて（2019年）。

Albuquerque, I.、Monteiro, J.、Darvishi, M.、Falk, TH & Mitliagkas, I. ドメイン一般化のための敵対的ターゲット不変表現学習 (DeepAI、2020)。

リー、Ｙら。条件付き不変敵対的ネットワークを介した深い領域の一般化。プロセスで。 European Conference on Computer Vision (ECCV) (Ferrari, V. 他編) 624–663 (Springer、2018)。

Ganin, Y. & Lempitsky, V. バックプロパゲーションによる教師なしドメイン適応。プロセスで。第 32 回機械学習国際会議 (Bach, F. および Blei, D. 編) 1180–1189 (JMLR、2015)。

ガニン、Y.ら。ニューラルネットワークのドメイン敵対的トレーニング。 J.マッハ。学ぶ。解像度 17、2096 ～ 2030 年 (2016)。

Google スカラー

Shao、R.、Lan、X.、Li、J.、および Yuen、PC 顔プレゼンテーション攻撃検出のための複数敵対的識別深領域一般化。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 10015–10023 (IEEE、2019)。

Motiian, S.、Piccirilli, M.、Adjeroh, DA、Doretto, G. 統合された深層教師ありドメインの適応と一般化。プロセスで。コンピュータービジョンに関する IEEE 国際会議 5716–5726 (IEEE、2017)。

Muandet, K.、Balduzzi, D. & Schölkopf, B. 不変特徴表現によるドメイン一般化。プロセスで。第 30 回機械学習国際会議 (Dasgupta, S. および McAllester, D. 編) I-10–I-18 (2013)。

メネゴラ、A.ら。深層学習による黒色腫スクリーニングのための知識の伝達。 IEEE 14th International Symposium on Biomedical Imaging (ISBI) 297–300 (IEEE、2017)。

Xie、H.ら。 ImageNet データでトレーニングされ、医療画像用に転送される少数ビュー CT のためのデュアルネットワークアーキテクチャ。プロセスで。 SPIE 11113、X 線断層撮影の開発 XII (Müller, B. および Wang, G. 編) 111130V (SPIE、2019)。

アルズバイディ、L.ら。医療画像の転移学習のより深い理解に向けて: ケーススタディ。応用科学。 10、4523 (2020)。

記事 Google Scholar

Heker, M. & Greenspan, H. 転移学習による関節肝臓病変のセグメンテーションと分類。プレプリントは https://arxiv.org/abs/2004.12352 (2020) にあります。

Chen, S.、Ma, K.、Zheng, Y. Med3D: 3D 医用画像解析のための転移学習。プレプリントは https://arxiv.org/abs/1904.00625 (2019) にあります。

Liang, G. & Zheng, L. 小児肺炎診断のための深い残差ネットワークを使用した転移学習法。計算します。メソッドプログレバイオメッド。 187、104964 (2020)。

記事 Google Scholar

Geyer, R.、Corinzia, L.、Wegmayr, V. 複数のモデルの適応マージによる転移学習。プロセスで。第 2 回深層学習による医用画像処理に関する国際会議 (Cardoso、MJ 他編) 185–196 (PMLR、2019)。

Noroozi, M. & Favaro, P. ジグソーパズルを解くことによる視覚表現の教師なし学習。 European Conference on Computer Vision (Leibe, B. 他編) 69–84 (Springer、2016)。

Zhang、R.、Isola、P.、Efros、AA カラフルな画像の色付け。 European Conference on Computer Vision (Leibe, B. 他編) 649–666 (Springer、2016)。

Wu, Z.、Xiong, Y.、Yu, SX & Lin, D. ノンパラメトリックインスタンス識別による教師なし特徴学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 3733–3742 (IEEE、2018)。

ヘナフ、OJ et al. コントラスト予測コーディングによるデータ効率の高い画像認識。プロセスで。第 37 回機械学習国際会議 (Daume, H. および Singh, A. 編) 4182–4192 (PMLR、2020)。

van den Oord, A.、Li, Y.、Vinyals, O. 対照予測コーディングによる表現学習。プレプリントは https://arxiv.org/abs/1807.03748 (2018) にあります。

Hjelm、RD et al. 相互情報量の推定と最大化による深い表現の学習。 https://arxiv.org/abs/1808.06670v5 (2019) のプレプリント。

Ye、M.、Zhang、X.、Yuen、PC、Chang、S.-F. 不変および拡散インスタンス機能による教師なし埋め込み学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 6203–6212 (IEEE、2019)。

Bachman, P.、Hjelm, RD & Buchwalter, W. ビュー間の相互情報を最大化することによる学習表現。上級神経情報プロセス。システム。 15535–15545 (2019)。

Tian, Y.、Krishnan, D. & Isola, P. 対照的なマルチビューコーディング。 European Conference on Computer Vision (Vedaldi, A. 他編) 776–794 (Springer、2019)。

Misra, I. & Maaten, LVD 口実不変表現の自己教師あり学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 6706–6716 (IEEE、2020)。

キャロン、M.ら。クラスターの割り当てを対比させることによる視覚的特徴の教師なし学習。上級神経情報プロセス。システム。 33、9912–9924 (2020)。

Google スカラー

Bai, W. et al. 解剖学的位置予測による心臓 MR 画像セグメンテーションの自己教師あり学習。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (Shen, D. et al. 編) 541–549 (Springer、2019)。

Spitzer, H.、Kiwitz, K.、Amunts, K.、Harmeling, S. & Dickscheid, T. 自己監視型シャムネットワークによる人間の脳領域の細胞構築的セグメンテーションの改善。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (Frangi、AF 他編) 663–671 (Springer、2018)。

Zhuang、X.ら。ルービックキューブをプレイすることによる 3D 医療画像の自己教師あり特徴学習。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (Shen, D. et al. 編) 420–428 (Springer、2019)。

Zhu、J.ら。 Rubik's Cube+: 3D 医用画像解析のための自己教師型特徴学習フレームワーク。医学。アナル画像。 64、101746 (2020)。

論文 PubMed Google Scholar

Chaitanya, K.、Erdil, E.、Karani, N. & Konukoglu, E. 限られた注釈を使用した医療画像セグメンテーションのためのグローバルおよびローカル特徴の対照学習。上級神経情報プロセス。システム。 33、12546–12558 (2020)。

Google スカラー

彼、X ら。 CT スキャンに基づく新型コロナウイルス感染症診断のためのサンプル効率の高いディープラーニング。上級神経情報プロセス。システム。 33、12546–12558 (2020)。

Google スカラー

リー、Ｈら。 3D ラジオミクス表現のための不均衡を認識した自己教師あり学習。医用画像コンピューティングおよびコンピュータ支援介入に関する国際会議 (de Bruijne, M. et al. 編) 36–46 (Springer、2021)。

Liu、J.ら。整列、出席、位置特定: 限られた監督下で造影剤による注意ネットワークを介した胸部 X 線診断。プロセスで。コンピュータービジョンに関する IEEE/CVF 国際会議 106321–10640 (IEEE、2019)。

周、H.-Y. 他。比較して学習: 画像表現を比較することで、X 線写真での ImageNet 事前トレーニングを超えます。医用画像コンピューティングとコンピュータ支援介入に関する国際会議 (アラバマ州マーテル編) 398–407 (Springer、2020)。

Soni , PN 、Shi , S. 、Sriram , PR 、Ng , AY & Rajpurkar , P. ラベル効率の良い診断のための心音と肺の音の対照学習。パターン 3、100400 (2021)。

論文 PubMed PubMed Central Google Scholar

Liu, Q.、Yu, L.、Luo, L.、Dou, Q.、Heng, PA 関係駆動型自己アンサンブルモデルによる半教師あり医療画像分類。 IEEEトランス。医学。イメージング 39、3429–3440 (2020)。

論文 PubMed Google Scholar

Wang, D.、Zhang, Y.、Zhang, K. & Wang, L. FocalMix: 3D 医用画像検出のための半教師あり学習。プロセスで。コンピュータービジョンとパターン認識に関する IEEE/CVF 会議 3950–3959 (IEEE、2020)。

Zhang, Y.、Jiang, H.、Miura, Y.、Manning, CD & Langlotz, CP ペアの画像とテキストからの医療視覚表現の対照学習。プロセスで。第 7 回ヘルスケアのための機械学習カンファレンス (Lipton、Z. 他編) 2–25 (PMLR、2020)。

Truong, T.、Mohammadi, S.、Lenga, M. 医療画像分類タスクにおける自己教師あり特徴はどの程度転送可能ですか? プロセスで。健康のための機械学習 (Roy, S. 他編) 54–74 (PMLR、2021)。

リファレンスをダウンロードする

このプロジェクトは、Google Brain と Google Health AI チームとの間の大規模なコラボレーションでした。 Z. Ghahramani 氏の貴重なフィードバックとプロジェクト全体にわたる継続的なサポートに感謝します。 M. Raghu、J. Krause、D. Eck、M. Howell には、作品の品質を向上させるための貴重なフィードバックをいただきました。 J. ウシュコーライト、J. ディートン、V. ゴッドボール、M. シーニエク、S. プラバカラ、D. ゴールデン、D. シュタイナー、X. ザイ、A. ジュルジュ、T. ドゥエリッグ、C. セムトゥルス、P. ブイ、J.ハートフォード、S. ジャンセン、S. シェティ、T. スピッツ、D. トラン、J. ルオ、O. ウィクロフスカ、A. ウォードがこのプロジェクトを通じて支援してくれました。この国際プロジェクトへの複数の貢献者: タイのラジャヴィティ病院、西オーストラリア州のライオンズアイ研究所とダーバール・エリガン・ヘルス・サービス、スタンフォード医学・画像人工知能センター、MIT 計算生理学および PhysioNet 研究所、NIH 臨床センター。この研究をサポートする DermPath AI、Apollo Hospitals、EyePACS の協力者。この研究を支援してくれたノースウェスタン医学の協力者とエテマディ研究グループのメンバー全員。

この出版物で使用されている画像とデータは、Cancer Research UK の資金提供を受けて作成された Optimam データベースから取得したものです。網膜画像データセットの一部は、インドのチェンナイにある Sankara Nethralaya によって研究のために提供されました。この論文に含まれる結果は、NCI と NHGRI が管理する The Cancer Genome Atlas (TCGA) によって生成されたデータの全体または一部に基づいています。 TCGA に関する情報は、NIH の Web サイトでご覧いただけます。この研究では、アーカイブされ匿名化された病理学スライド、臨床病理学的変数、病理学研究所とグラーツ医科大学バイオバンクからの結果も使用されました。この研究では、CAMELYON チャレンジの病理学スライドも使用されました。

Shekoofeh Azizi、Laura Culp、Jan Freyberg の著者も同様に貢献しました。

Google Research、マウンテンビュー、カリフォルニア州、米国

シェコーフェ・アジジ、ローラ・カルプ、ヤン・フライバーグ、バジル・ムスタファ、セバスチャン・バウア、サイモン・コーンブリス、ティン・チェン、パトリシア・ストラカン、S・サラ・マハダヴィ、エラリー・ウルチン、ボリス・バベンコ、ミーガン・ウォーカー、アーロン・ロー、ポーシュアン・キャメロン・チェン、ユアン・リウ、ピナル・バビシ、スコット・メイヤー・マッキニー、ジム・ウィンケンズ、アビジット・グハ・ロイ、ザック・ビーバー、ジャスティン・クローグ、ウメッシュ・テラン、ユン・リウ、リリー・ペン、グレッグ・S・コラード、デール・R・ウェブスター、デヴィッド・フリート、ジェフリー・ヒントン、ニール・ホールズビー、アラン・カーティケサリンガム、モハマド・ノルージ＆ヴィヴェク・ナタラジャン

ディープマインド、ロンドン、英国

ネナド・トマセフ & ジョバナ・ミトロヴィッチ

ジョージア工科大学コンピューターサイエンス、米国ジョージア州アトランタ

フィオナ・ライアン

ノースウェスタン大学医学部/工学部、シカゴ、イリノイ州、米国

モジヤル・エテマディ

PubMed Google Scholar でこの著者を検索することもできます

SA、JF、LC、VN、NH、AK、MN、SK、TC、NT、JM、BM、PS、SSM、FR、EW、P.-HCC、GH が作品の構想とデザインに貢献しました。 SA、LC、JF、VN、AK、BB、PB、EW、P.-HCC、Yuan Liu、Yun Liu、SMM、AL、JW、MW、ZB、AGR、DRW、LP、GSC、UT、JK が貢献しました。データ収集。 SA、LC、JF、SB、BM、VN が作品の評価に大きく貢献しました。 SA、LC、JF、VN、NH、AK、MN、SB、SK、TC、BB、DRW、DF、GSC、ME がデータの分析と解釈に貢献しました。 SA、LC、JF、VN、NH、AK、MN、SK、EW、PS、SSM、ME がこの論文の起草と改訂に貢献しました。 NH、AK、MN、VN は共同顧問として等しく貢献した。

Shekoofeh Azizi、Alan Karthikesalingam、または Vivek Natarajan への通信。

この研究は、Google LLC および/またはその子会社 (「Google」) から資金提供を受けました。 JF、LC、SA、VN、NH、AK、MN、BM、SB、PS、SSM、SK、TC、NT、JM、BB、PB、EW、P.-HCC、Yuan Liu、Yun Liu、SM、AL 、JW、MW、ZB、AGR、UT、DRW、DF、LP、GSC、JK、GH は Google の従業員であり、標準報酬パッケージの一部として株式を所有する場合があります。 ME は、共同研究を支援するために Google から資金提供を受けました。

Nature Biomedical Engineering は、この研究の査読に貢献してくれた Pranav Rajpurkar と他の匿名の査読者に感謝します。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

合成シフトの深刻度が増すと、REMEDIS と教師付きベースラインの両方のパフォーマンスが低下することが観察されます。ただし、REMEDIS の低下はより緩やかです。

モデルの開発と評価には、ラベルなしとラベル付き (ID と OOD の両方) のさまざまな段階が使用されます。

ID と OOD データ間の差異は、視覚的に微妙な場合もあれば、顕著な場合もあります。この変化には、コントラスト、鮮明さ、色合いの変化、X 線センサー構造の非線形効果の違い、またはズームレベルの違いが含まれます (ただし、これらに限定されません)。分布の変化の根本的な原因は、テクノロジーの変化、人口動態の変化、または行動の変化に関連している可能性があります45。

補足の結果、考察、図、表および参考文献。

Springer Nature またはそのライセンサー (協会や他のパートナーなど) は、著者または他の権利所有者との出版契約に基づいて、この記事に対する独占的権利を保持します。この記事の受理された原稿バージョンの著者によるセルフアーカイブには、かかる出版契約の条項および適用される法律のみが適用されます。

転載と許可

Azizi、S.、Culp、L.、Freyberg、J. 他。画像診断用の自己教師あり機械学習の堅牢かつデータ効率の高い一般化。ナット。バイオメッド。工学 (2023)。 https://doi.org/10.1038/s41551-023-01049-7

引用をダウンロード

受信日: 2022 年 7 月 22 日

受理日: 2023 年 5 月 2 日

公開日: 2023 年 6 月 8 日

DOI: https://doi.org/10.1038/s41551-023-01049-7

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

収集する価値のある 10 台のクラシックスポーツカー

緑内障手術装置の世界市場レポート 2023

ニュース

堅牢性とデータ性