Blog translations

Nov 2025 - french version

Construire une infrastructure robuste pour des flux d’analyse d’images à grande échelle

L’ère du big data est bel et bien arrivée dans le domaine de la bio-imagerie, offrant des opportunités de découverte sans précédent — mais aussi des défis informatiques de taille. À mesure que les ensembles de données issus d’expériences telles que le high-content screening” ou le pool cell screening se multiplient, le besoin de pipelines de calcul soigneusement conçus devient crucial.

Lors d’un récent séminaire Globias, Ank, associé en calcul scientifique au Carpenter SING Lab du Broad Institute of MIT and Harvard, a partagé des perspectives précieuses sur les briques fondamentales nécessaires pour bâtir une infrastructure capable de gérer d’immenses volumes de données d’imagerie. S’appuyant sur son expérience dans la gestion de jeux de données colossaux comme la Cell Painting Gallery (de l’ordre du pétaoctet), il a présenté une approche claire et pragmatique.
Cet article revient sur les concepts clés et les considérations techniques évoqués pendant le séminaire, et propose une feuille de route pour les organisations confrontées au défi de faire évoluer leurs flux d’analyse d’images à grande échelle.

Le défi de la scalabilité : à l’assaut de la frontière du pétaoctet

Le volume de données généré aujourd’hui en bio-imagerie est tout simplement vertigineux.
Au Broad Institute, la Cell Painting Gallery regroupe déjà environ 700 téraoctets de données, et frôle rapidement le pétaoctet. De nouvelles approches expérimentales comme le pool Cell Painting produisent des ensembles encore plus vastes — parfois des ordres de grandeur supérieurs.
Les projections laissent penser qu’au cours des cinq prochaines années, les volumes pourraient facilement atteindre 100 pétaoctets.

Cette croissance exponentielle oblige à repenser en profondeur notre infrastructure informatique et les outils d’analyse d’images que nous utilisons.
Des cadres devenus incontournables comme SnakeMake ou Nextflow sont-ils vraiment taillés pour affronter ce déluge de données ?
C’est cette question qui a poussé Ank et son équipe à concevoir des solutions sur mesure, adaptées à leurs besoins spécifiques.

Principes fondamentaux : concevoir des systèmes centrés sur les usages

Avant d’entrer dans les détails techniques, Ank a insisté sur quelques principes de conception essentiels.
Par une analogie simple — celle de la tasse de café — il a illustré la notion d’affordance ou invite, c’est-à-dire la manière dont un objet suggère son utilisation.
Une anse sur une tasse invite naturellement à la tenir pour boire : c’est une affordance claire.
De la même façon, nos outils informatiques doivent être conçus avec des affordances explicites, alignées sur les tâches réelles des utilisateurs.

Les outils généralistes ont leur place, mais des infrastructures conçues pour un usage précis offrent souvent une expérience plus fluide et plus intuitive.

Ank a aussi rappelé notre tendance humaine à penser en catégories nettes, plutôt qu’en gradients continus.
Cela signifie qu’un outil doit avoir une identité claire : un « outil d’analyse d’images à 50 % » ne convaincra personne. Reconnaître ces principes de base est primordial quand on entreprend de bâtir une infrastructure sur mesure.

Un autre point clé abordé : l’importance du consensus entre parties prenantes sur la définition même des problèmes.
Les cahiers de charge techniques, même lorsqu’ils semblent simples, sont souvent sous-spécifiés, ce qui conduit à des solutions divergentes.
L’expérience tirée du développement de leur pipeline interne, Starry Night, a mis en lumière la nécessité d’intégrer des mécanismes de concertation tout au long du projet, et d’accepter d’éventuels changements radicaux en fonction des retours des utilisateurs.
Cette ouverture est essentielle à la réussite de tout projet d’ingénierie à grande échelle.

Naviguer dans le paysage technique : défis clés et solutions

Une fois les principes fondamentaux posés, le séminaire a abordé les défis techniques rencontrés au Broad Institute, ainsi que les solutions innovantes mises en œuvre pour y répondre.

1. Gestion des données : la base de toute scalabilité

Une gestion des données efficace constitue la pierre angulaire de toute infrastructure d’analyse d’images à grande échelle.
Ank recommande vivement l’utilisation d’un object store (comme AWS S3 ou ses alternatives open source) avec des règles d’accès automatisées, pour le stockage à long terme. Ce type d’architecture offre simplicité et flexibilité dans la gestion des permissions, contrairement aux systèmes de fichiers réseau (NFS) ou aux disques locaux, moins adaptés à la taille croissante des jeux de données.

Cependant, travailler avec des volumes à l’échelle du pétaoctet comporte ses propres défis.
Des opérations apparemment simples, comme renommer un fichier, deviennent coûteuses et complexes, car chaque objet est géré individuellement et nécessite un traitement d’erreurs manuel.

Pour automatiser l’accès et le traitement, Ank préconise d’implémenter un schéma de données au-dessus du stockage d’objets.
Même si l’idée d’un data lake sans schéma peut séduire, un schéma défini et évolutif permet de normaliser les outils, d’assurer la qualité des données et de faciliter les évolutions futures.
L’important est que ce schéma soit vivant, régulièrement révisé, et capable d’intégrer de nouveaux types de données.

Enfin, Ank déconseille la pratique courante qui consiste à simuler un système de fichiers sur un object store en utilisant des préfixes pour imiter une arborescence de dossiers : c’est inefficace sur le plan computationnel.

2. Inventaire des données : cataloguer efficacement des millions d’objets

Pour contourner les limites d’accès des object stores, l’équipe du Broad Institute a développé une approche d’inventaire des données en trois étapes 

1. Génération d’un inventaire brut — une simple liste de tous les identifiants d’objets (ou keys) dans le stockage. AWS S3 propose une fonction native pour cela.

2. Analyse des clés dans un tableau de données — un parseur extrait les métadonnées pertinentes (encodées dans les noms de fichiers) et les convertit en un DataFrame structuré.

3. Utilisation du tableau comme index — cet index permet de filtrer, requêter et accéder rapidement aux fichiers souhaités, sans devoir parcourir toute la hiérarchie.

Cette méthode a permis d’obtenir des améliorations de performance spectaculaires, avec des validations cent fois plus rapides et un accès aux données accéléré depuis S3.

3. Pipelines : configuration, construction et exécution à grande échelle

Du côté des pipelines d’analyse d’images, Ank a identifié trois aspects essentiels :
la configuration, la structure de calcul (compute graph) et les moteurs d’exécution.

La gestion des innombrables paramètres de configuration devient vite lourde et source de code difficile à maintenir.
Pour y remédier, Ank recommande une approche modulaire basée sur la composition des fichiers de configuration, inspirée de projets comme Detectron2.
Cela permet de réduire les conditions imbriquées et de garder une architecture claire.

Conscients de la diversité des environnements de calcul et des préférences des collaborateurs, les ingénieurs du Broad ont créé Pipecraft, un outil interne capable de construire un graphe de calcul abstrait dans Python.
Ce graphe peut ensuite être compilé pour différents backends d’exécution — SnakeMake, Nextflow, AWS Batch, etc.
Ainsi, une même base de code peut s’adapter à diverses infrastructures, tout en garantissant la cohérence des pipelines.

4. Reproductibilité : garantir la rigueur scientifique à grande échelle

La reproductibilité est un pilier de la recherche scientifique.
Selon Ank, elle s’inscrit sur un continuum, avec des niveaux de garanties variables selon les outils.

Beaucoup considèrent Docker comme une solution idéale pour créer des environnements reproductibles.
Mais Ank souligne que Docker, à lui seul, ne garantit pas la reproductibilité totale : les dépendances externes ou les versions de paquets peuvent évoluer lors de la reconstruction d’une image.

Pour un niveau de reproductibilité supérieur, il recommande Nix, un gestionnaire de paquets basé sur des hash cryptographiques de toutes les dépendances.
Malgré sa courbe d’apprentissage abrupte, Nix est idéal pour les projets nécessitant une rigueur extrême. Il permet de vérifier mathématiquement que l’environnement d’exécution est identique à celui d’origine.

Les fichiers de logs et des outils comme Pixie s’inscrivent également dans cette démarche, en apportant plus de transparence sur l’environnement d’exécution et les dépendances utilisées.
Pour Ank, la véritable mesure de la reproductibilité est le temps nécessaire pour recréer un résultat identique.

5. Validité des calculs : garantir la justesse des pipelines automatisés

Assurer la correction des calculs est essentiel, surtout lorsque les ensembles de données sont trop volumineux pour être retraités manuellement.
Ank distingue deux types de justesse :

• la justesse syntaxique, lorsque le calcul est mathématiquement correct 

• la justesse sémantique, lorsque les résultats sont cohérents avec les attentes biologiques.

La justesse syntaxique peut être vérifiée par des tests rigoureux (unitaires, d’intégration, de bout en bout), mais aussi par des approches plus avancées comme le fuzzing, les tests de propriété, voire des preuves formelles pour les algorithmes critiques.

La justesse sémantique, en revanche, est plus complexe : en l’absence de vérité de référence, il faut recourir à des heuristiques, à des échantillons aléatoires de résultats, ou à des comparaisons avec des sorties attendues.
Il reconnaît que ce domaine reste un chantier ouvert dans la recherche en analyse d’images.

6. Performance : optimiser l’échelle et la rentabilité

Avec des volumes massifs, même une petite amélioration de performance peut se traduire par des économies considérables et des temps de traitement réduits.
Ank insiste donc sur la nécessité de profiler le pipeline dans son ensemble avant d’entreprendre toute optimisation.
Les outils d’auto-profilage permettent d’identifier les goulots d’étranglement et de cibler précisément les zones à améliorer.

Il souligne aussi l’importance de bien connaître les caractéristiques de l’infrastructure de calcul sous-jacente (CPU, GPU, FPGA, NPU…).
L’ère actuelle du calcul hétérogène offre de nouvelles opportunités : en combinant différents processeurs spécialisés, on peut adapter les ressources au type précis de traitement d’image et ainsi maximiser les performances.

Conclusion : adopter une approche holistique de l’analyse d’images à grande échelle

Construire une infrastructure robuste capable de gérer des volumes d’images en croissance exponentielle exige une vision globale, intégrant à la fois :

• la gestion et la structuration des données,

• la conception des pipelines et leur exécution,

• la reproductibilité et la validation scientifique,

• et les principes fondamentaux de conception centrée utilisateur.

Le séminaire d’Ank a proposé un cadre solide pour relever ces défis, en insistant sur l’importance de :

• concevoir des systèmes dotés d’affordances claires, adaptées aux usages réels ;

• instaurer un consensus continu entre les parties prenantes ;

• utiliser des object stores associés à des schémas de données évolutifs ;

• mettre en place des inventaires efficaces pour un accès rapide aux fichiers ;

• adopter des cadres de pipelines flexibles et portables ;

• privilégier la reproductibilité via une gestion rigoureuse des dépendances et, si nécessaire, des outils comme Nix ;

• garantir la justesse grâce à des stratégies de test et de validation solides ;

• et optimiser la performance grâce à un profilage complet et à l’exploitation du calcul hétérogène.

Alors que la bio-imagerie continue de générer des ensembles de données toujours plus vastes et complexes, ces enseignements constituent un guide essentiel pour construire l’infrastructure capable d’en libérer tout le potentiel scientifique.

🧭 Appel à l’action

Prenez un moment pour réfléchir à votre propre infrastructure d’analyse d’images :
Quels sont vos goulots d’étranglement ? Vos défis de mise à l’échelle ?
Envisagez d’adopter certaines des stratégies présentées ici !

Llamado a la Acción

Reflexiona sobre tu infraestructura actual de análisis de imágenes. ¿Cuáles son los cuellos de botella y los desafíos que enfrentas al escalar tus flujos de trabajo?  Considera adoptar algunas de las estrategias discutidas.

November - chinese version

講題: 處理拍位元(petabyte)規模影像資料集的設計與實作

講者:  Ankur Kumar （Computational Associate, Broad Institute of MIT and Harvard, Cambridge, USA）

演講日期: 十一月27日, 2024

演講連結

編譯者: 羅安琦 (An-Chi Lo) 副技師, 臺灣大學醫學院顯微影像核心 (Associate technician, Imaging core facility, College of Medicine, National Taiwan University)

為可擴展的影像分析流程建立穩健的基礎架構

隨著生物影像領域邁入大數據時代，前所未有的探索契機與龐大的運算挑戰隨之而生。面對諸如高內涵篩選（high-content screening）與光學細胞池篩選（optical pool cell screening）等實驗以指數速度擴增的資料集，精心設計的運算流程（computing Pipeline）變得至關重要。

在近期的 Globias 研討會中，任職於布羅德研究所（Broad Institute of MIT and Harvard）Carpenter SING 實驗室的運算研究員 Ank 根據他在處理拍位元級（petabyte-scale）的大型影像資料集—Cell Painting Gallery的實務經驗，分享了建構可支援巨量影像資料分析基礎架構的深刻見解。

本篇部落格文章將探討研討會中分享的關鍵概念與技術考量，為正在挑戰可擴展影像分析流程的研究單位提供一份指引。

可擴展的迫切性：邁向拍位元級資料的前沿

生物影像領域所產生的資料量之龐大，令人驚嘆。以 Cell Painting Gallery 為例，這個資料集已累積約 700 TB 的資料，正快速逼近 1 PB。更有甚者，像 pool Cell Painting 等新興的實驗模式，正產生規模更為龐大的資料集。

預估在未來五年內，資料量可能輕易達到 100 PB。這樣指數型的成長迫使我們重新思考現有的運算基礎架構與影像分析工具。即使在 Snakemake 和 Nextflow 已經非常普及的狀態下，我們現有的系統是否真的足以應對這股資料洪流？這個問題，也正是促使 Ank 與其團隊開發客製化解決方案的核心動機。

基礎原則：在系統設計中兼顧可供性與使用者需求

在深入探討技術細節前，Ank 首先強調了系統設計中幾項關鍵思維。

他以咖啡杯作比，說明可供性（affordance）——即透過元件設計，自然暗示其使用方式的概念。譬如，咖啡杯的把手就是一種明確的可供性設計，它自然的引導人去握持與飲用。同理，我們的運算工具也應具有清晰的可供性，並貼合使用者的實際任務需求。雖然通用型流程工具（general-purpose workflow tools）具有其價值，但為特定用途設計的基礎架構，往往能提供更直覺且高效的使用體驗。

Ank 進一步指出，人類傾向以分類而非連續的變化的方式思考，因此工具設計應具備明確的定位與用途。一個模稜兩可、功能只完成一半的影像分析工具，將難以打動使用者。理解這些基礎原則，是開啟建立客製化基礎架構之路的關鍵起點。

另一個關鍵議題是：如何在所有利害關係人間就問題定義取得共識。工程文件看似簡單明確，實際上卻常因缺乏規範而使開發者走向不同的解決方案。

Ank團隊在開發內部流程系統 Starry Nigh 的經驗中，深刻體驗到必須在專案的各階段中，建立促進共識的機制。

樂於接受利害關係人的回饋，並勇於調整專案方向，也是一個大型工程能否成功的關鍵之一。

航向技術版圖：關鍵挑戰與解決方案

奠定基礎原則後，研討會進一步聚焦於布羅德研究所在實際開發過程中面臨的技術挑戰，以及其創新的解決方式。

1.  數據管理：可拓展性的基石

Ank 強烈建議在長期資料儲存中採用物件儲存系統（如 AWS S3 或其他開源替代方案）並搭配規則式存取控制（rule-based access control），藉其優勢實現架構簡潔且便利的權限管理。相較於傳統的網路檔案系統（NFS）或本地硬碟，物件儲存更能因應現今資料規模的快速成長。

然而，使用物件儲存系統處理拍位元級資料並非毫無挑戰。由於此類系統以「物件」為操作單位，並仰賴人工處理錯誤，連同「重新命名」這樣簡單的操作，都可能變的繁瑣且成本高昂。

為了讓資料能被自動化存取與處理，Ank 建議在資料儲存層之上，建立一套資料結構（data schema）。雖然「無結構資料湖」（schemaless data lake）在概念上有其優勢，但一個定義明確的結構（schema），即使會隨時間而動態變化，仍能促進標準化工具開發，並確保資料品質。

其中關鍵在於，應定期檢視與更新結構(schema)，確保其能隨著新資料型態與需求的變化持續演進。

最後，Ank 也提醒，不應在物件儲存系統上強行套用傳統檔案系統的操作邏輯，例如在物件鍵（object keys）加入前綴（prefixes）以模擬目錄結構。這樣的作法在運算效率上並不理想。

2.   資料盤點：高效編目數以百萬計的物件

為了克服物件儲存中模仿檔案系統存取方式帶來的限制，AnK 分享了他們在資料盤點（data inventory）上的實作方法。此方法包含三個主要階段：

1.  生成原始資料清單：在物件儲存系統中列出所有物件的識別碼（keys）。以AWS S3為例，其內建產生原始資料清單的功能。

2. 解析物件鍵至資料框（data frame）：透過解析器提取物件鍵中所編碼的詮釋資料（metadata），再轉換成結構化的資料框。

3. 使用資料框當作索引：藉由索引機制，可高效地查詢、篩選與存取所需的檔案，   而無須成本高昂的遞迴式列舉操作。

這樣的資料盤點方法，為 Cell Painting Gallery 帶來了顯著的效能——驗證速度提升了兩個數量級（約百倍），也加快了從 S3 擷取資料的速度。

3.  分析流程：大規模環境中的設定、建構與執行

在影像分析流程的環節，Ank 強調了三個關鍵要素：設定管理（configuration），運算圖（compute graph）與執行後端（execution backends）。

管理這些流程中大量的設定參數往往十分繁瑣，程式碼容易變的複雜且充滿巢狀的條件判斷，難以維護。對此，Ank 建議可借鑒專案Detectron2，在設定檔中採用組合式（composition）結構。透過這種方式，讓設定能模組化並更易於管理，同時減少程式中的分支結構。

考量到合作者間多樣的計算環境與工具偏好，布羅德研究所開發了內部工具 Pipecraft。該工具以 Python平台，建立抽象運算圖（abstract compute graph），再編譯至不同的執行後端，例如 Snakemake、Nextflow、AWS Batch 等。透過這樣的設計，能以同一套程式碼庫建構並定義各種分析流程，同時維持對多種基礎架構的相容性。

4.   再現性（reproducibility）：確保大規模科學研究的嚴謹性

再現性是科學研究的核心。Ank 強調實現真正的再現性是一個光譜（spectrum），從部分重現到完全重現，不同的方法能提供不同層級的保障。雖然 Docker 因為能建立可重複使用環境而被視為一解決方案，但他也指出，在重建容器映像檔的過程中，外部依賴項（dependencies）與套件的版本可能發生變化，因此僅靠Docker仍無法保障完整的再現性。

為達到更高層級的再現性，Ank 特別介紹 Nix——一款以所有依賴項的加密雜湊值（cryptographic hashes）為基礎建構環境的套件管理工具。儘管Nix的學習曲線陡峭，但對於需要高度再現性保障的專案而言，Nix 仍值得採用，因為它能驗證當前執行分析的系統與先前運行時的環境完全一致。

此外，Ank 也提到日誌檔案（log files）與 Pixi 等工具，在再現性光譜中同樣扮演重要的角色。它們能更完整地紀錄執行環境與依賴項的細節，進一步提升再現性。在他看來，衡量再現性的一項關鍵指標，是研究者可以多快地產生相同結果。

5.   正確性（Correctness）：檢驗自動化分析流程的計算結果

在影像分析流程中保證正確性至關重要，尤其是面對龐大到無法進行人工即時重新處理的資料集更是如此。

Ank 將正確性區分成兩個層面：語法正確性（syntactic correctness）­­—— 計算過程在數學上正確無誤；以及語意正確性（semantic correctness）—— 分析結果符合生物學上的預期。

語法正確性可使用嚴謹的測試方法加以驗證，如單元測試，整合測試，端對端試驗，加以驗證；另可結合模糊測試（fuzz testing）、性質測試（property testing），甚至對關鍵演算法進行形式化運算（formal computational proofs）證明。

相較之下，驗證語意正確性更具挑戰性，特別在缺乏真實標準資料（ground truth data）的狀況下。

雖然目前尚無明確的解決方案，Ank 建議可採取啟發式方法、隨機輸出抽樣，以及與預期結果比較等策略。

6.   效能（Performance）：為規模與成本效率而優化

面對巨量資料集，即使是細微的效能提升，也能帶來顯著的成本節省與縮短處理時間。Ank

強調，在進行任何優化前，應先對整個分析流程進行全面的效能剖析（comprehensive profiling）。透過自我剖析工具（self-profilers）識別瓶頸所在，便能針對性地進行優化。

另一個最大化效能的關鍵，是深入理解底層運算架構的特性（如 CPU、GPU、FPGA、NPU等）。在這個異質運算（heterogeneous computing）時代，隨著各種專用處器的發展，我們有更多機會針對特定的影像處理任務，靈活配置與調整運算資源。

結論：以整體視角出發構築可擴展的影像分析

為因應日益增長的影像資料量，必須採用整體性思維來建構穩固的基礎架構。這不僅涉及資料管理、分析流程（pipelining）與運算（compute）等技術層面，還須納入系統設計的基本原則，以及對再現性與正確性的關鍵需求。

Ank 的專題演講為應對這些挑戰提供了一個極具價值的架構，並特別強調以下幾點的重要性:

• 設計具明確可供性且貼合使用者需求的系統

• 保持開發過程中利害關係人之間的共識。

• 善用可演化資料結構的物件儲存系統，以維持可擴展的資料管理架構。

• 落實高效的資料盤點與索引策略，讓資料能被快速存取。

• 採用彈性的分析流程框架，以適應多樣的運算環境。

• 導入Nix等工具，執行謹慎的依賴管理以確保再現性。

• 執行嚴謹的測試與驗證策略保證正確性。

• 透過效能剖析與異質運算資源平衡成本與速度。

隨生物影像領域持續產生愈加龐大且複雜的資料集，本次研討會分享的洞見，為打造能解鎖這些豐富資料信息之基礎架構，提供了重要指引。

你掌握好這些原則，建構屬於自己的可擴展影像分析流程了嗎？

 行動呼籲：

• 重新檢視你目前的影像分析基礎架構。

• 有那些瓶頸或挑戰阻礙了流程擴展？

• 嘗試應用本文介紹的幾項策略，並在下方留言區分享你的實際經驗與見解。

Aug 2025 - portuguese version

Revolucionando a análise de bioimagens: a libertação do poder dos grandes modelos de linguagem com Omega

O campo da análise de bioimagens está em constante evolução, enfrentando conjuntos de dados cada vez mais complexos e exigindo fluxos de processamento sofisticados. Como os investigadores podem acompanhar esse ritmo e extrair informações significativas de forma eficiente? No Seminário GloBIAS BioImage Analysis, o Dr. Loïc Alain Royer, líder de grupo sênior e diretor de IA em Imagem no Chan Zuckerberg Biohub, apresentou o Omega — um agente conversacional inovador que aproveita as capacidades dos grandes modelos de linguagem (LLMs) para transformar a forma como interagimos e analisamos imagens biológicas. Não se trata apenas de automação, mas de promover um diálogo dinâmico entre mente e máquina.

A génese do Omega: de um projeto de fim de semana a uma ferramenta poderosa

O Dr. Royer compartilhou a fascinante história da origem do Omega, descrevendo-o como um “projeto de fim de semana” inspirado pelo entusiasmo em torno de tecnologias emergentes como o ChatGPT. Movido pela visão de um futuro no qual a análise de bioimagens se poderia tornar uma conversa fluida com uma máquina inteligente, iniciou o desenvolvimento de uma ferramenta capaz de conectar a potência de bibliotecas avançadas de análise de imagens, como o Napari, com a compreensão intuitiva dos LLMs. Suas intensas sessões de programação — inclusive durante uma visita aos pais — resultaram na criação do Omega: um agente conversacional baseado em ChatGPT, especializado em processamento e análise de imagens.

Omega em ação: um vislumbre de suas capacidades

A apresentação destacou uma gama impressionante de funcionalidades que o Omega traz para o ecossistema Napari:

• Controle interativo do visualizador: permite controlar o Napari por comandos simples em linguagem natural, como alternar entre visualizações 2D e 3D, girar a câmera e aplicar zoom.
  
  

• Manipulação de arquivos sem esforço: abrir arquivos de imagem, inclusive formatos complexos como conjuntos OME-Zarr do IDR no EBI, torna-se simples com o Omega interpretando a intenção do usuário.
  
  

• Integração com ferramentas estabelecidas: pode integrar-se estreitamente com ferramentas populares como CellPose e StarDist para segmentação de núcleos, além de realizar análises subsequentes como contagem de objetos segmentados e exportação de resultados em CSV.
  
  

• Geração sob demanda de widgets: uma das funções mais poderosas do Omega é a criação de widgets personalizados ou “micro-plugins” no Napari, adaptados a tarefas específicas (filtrar rótulos por área, criar ferramentas de análise especializadas). O nome “Omega”, última letra do alfabeto grego, reflete essa ideia de um plugin final e abrangente.
  
  

• Widgets avançados de processamento de imagens: demonstração da criação de widgets sofisticados, como projeção 3D em cores baseada na profundidade e intensidade dos voxels.
  
  

• Planeamento passo a passo de análises: os utilizadores descrevem a imagem e o resultado desejado, e o Omega propõe um plano detalhado, que pode ser ajustado colaborativamente.
  
  

• Aprendizagem e explicação: o Omega atua também como um companheiro de aprendizagem, capaz de explicar princípios de operações como definir os limites para segmentação com com o algoritmo Otsu ou morfologia em graus de cinza.

Superando desafios: resiliência e adaptação

O Dr. Royer destacou o aspecto crucial da recuperação de erros e adaptação no Omega. Por conhecer as versões das bibliotecas relevantes, o sistema pode prever e resolver problemas de compatibilidade. Numa demonstração de segmentação de imagem RGB com o algoritmo SLIC, o Omega identificou o erro, compreendeu sua causa (incompatibilidade de versão do scikit-image) e corrigiu automaticamente o código para atingir o resultado desejado. Esse refinamento iterativo melhora significativamente a experiência do utilizador.

Além disso, com a integração de LLMs multimodais, o Omega ganhou a capacidade de “ver”. Assim, pode analisar imagens carregadas no Napari e tomar decisões informadas, como identificar uma xícara de café entre várias imagens ou escolher automaticamente as ferramentas adequadas de segmentação (CellPose, StarDist) conforme o conteúdo das camadas de imagem. Embora essas funções visuais ainda estejam em desenvolvimento, o potencial futuro é imenso.

Empoderar os utilizadores: o editor de código aumentado por IA

Reconhecendo a necessidade de maior controle e modificação do código gerado, o Dr. Royer apresentou o editor de código integrado com IA do Omega. Ele permite:

• visualizar, editar e reexecutar todo o código gerado,
  
  

• aplicar formatação automática e verificar segurança,
  
  

• modificar automaticamente scripts (por exemplo, adaptar um widget 2D para dados 3D).
  
  

Dessa forma, os utilizadores podem aprender com o código gerado e adaptá-lo às suas necessidades. Todas as interações e códigos podem ser salvos como notebooks Jupyter, assegurando a reprodutibilidade.

A sala de máquinas: como o Omega funciona

No núcleo do Omega há um agente construído sobre APIs de LLMs de ponta. Esse agente utiliza uma memória projetada para acompanhar interações e a abordagem “React Agents”, que lhe permite raciocinar, invocar ferramentas, observar o ambiente (Napari, Internet, máquina local) e planear ações.

Uma ampla gama de ferramentas especializadas permite que o Omega interaja com o Napari, acesse a internet, realize segmentações, consulte o estado do visualizador e até mesmo “veja” o conteúdo de imagens. Embora se apoie principalmente nos modelos da OpenAI, também é compatível com outros modelos de ponta e LLMs de código aberto.

Demonstração ao vivo: imaginação sem limites

A apresentação culminou em uma demonstração ao vivo. O Dr. Royer carregou uma imagem de astronauta e pediu ao Omega para realizar uma série de transformações complexas (converter em escala de cinza com pesos perceptivos, aplicar desfoque gaussiano, visualizar gradiente em matiz e luminância). Apesar de um pequeno contratempo, o Omega executou a tarefa com sucesso, corrigindo o erro no processo.

Em outro exemplo marcante, o Dr. Royer pediu ao Omega que criasse um widget para dividir uma imagem 2D em blocos, calcular a entropia de cada um e depois ampliá-la para criar um mapa da complexidade da imagem. O widget foi gerado e executado em menos de um minuto, demonstrando a velocidade e o potencial de criação de ferramentas especializadas sob demanda.

O futuro da bioimagem: colaboração e empoderamento

Na sessão de perguntas, discutiu-se o papel futuro dos analistas de bioimagem diante de ferramentas de IA cada vez mais potentes. O Dr. Royer mostrou-se otimista: segundo ele, ferramentas como o Omega atuarão como multiplicadores, permitindo que os analistas realizem tarefas mais complexas em menos tempo e se concentrem em resolver problemas de maior nível.

Quanto à preocupação com a escassez crescente de novos dados de treino para LLMs, ele comparou com o AlphaZero, que aprendeu xadrez por autojogo, sugerindo que modelos de IA também podem continuar aprendendo por meio da interação com o ambiente.

Conclusão: abraçando a revolução da IA conversacional na bioimagem

A apresentação do Dr. Royer demonstrou claramente o potencial transformador da integração dos LLMs nos fluxos de trabalho de análise de bioimagens através do Omega. Essa ferramenta inovadora oferece uma abordagem mais intuitiva e interativa para o processamento de imagens, capacitando os investigadores a criar fluxos de análise e widgets personalizados com rapidez e flexibilidade inéditas. Com o avanço contínuo da tecnologia dos LLMs, o futuro da análise de bioimagens será marcado por uma colaboração mais estreita entre a expertise humana e a assistência inteligente de ferramentas como o Omega, conduzindo a novas e profundas descobertas.

Principais pontos:

• Omega é um plugin do Napari que utiliza LLMs para análise de bioimagens de forma conversacional.
  
  

• Permite controle intuitivo do visualizador, manipulação fluida de arquivos e integração com ferramentas existentes.
  
  

• Sua principal característica é a geração sob demanda de widgets personalizados.
  
  

• O Omega demonstra impressionante resiliência e adaptação a erros.
  
  

• O editor de código aumentado por IA capacita os usuários a entender, modificar e reutilizar o código gerado.
  
  

• Os LLMs são ferramentas que ampliam as capacidades dos analistas, permitindo enfrentar problemas mais complexos com eficiência.
  
  

Para saber mais sobre o Omega e explorar suas capacidades, consulte o artigo associado na Nature Methods e o repositório de código do projeto.

https://github.com/royerlab/napari-chatgpt

Aug 2025 - french version

Révolutionner l’analyse bio-imagerie: libérer la puissance des grands modèles de langage avec Omega

Le domaine de l’analyse d’images biologiques évolue sans cesse, confronté à des ensembles de données de plus en plus complexes et à des chaînes de traitement toujours plus sophistiquées. Comment les chercheurs peuvent-ils suivre le rythme et extraire efficacement des informations pertinentes ? Lors d’une présentation captivante au séminaire GloBIAS BioImage Analysis, le Dr Loïc Alain Royer, responsable de groupe senior et directeur de l’IA appliquée à l’imagerie au Chan Zuckerberg Biohub, a dévoilé Omega, un agent conversationnel innovant exploitant les capacités des grands modèles de langage (LLM) pour transformer notre manière d’interagir avec et d’analyser les images biologiques. Il ne s’agit pas seulement d’automatisation, mais de favoriser un véritable dialogue dynamique entre l’esprit et la machine.

La genèse d’Omega: d’un projet de week-end à un outil puissant

Le Dr Royer a partagé l’histoire fascinante de la naissance d’Omega, décrit comme un « projet de week-end » né de l’enthousiasme suscité par l’émergence de technologies comme ChatGPT. Animé par la vision d’un futur où l’analyse bio-imagerie pourrait devenir une conversation fluide avec une machine intelligente, il s’est lancé dans le développement d’un outil capable de combler le fossé entre la puissance de bibliothèques d’analyse d’images avancées comme Napari et la compréhension intuitive des LLM. Ses sessions intensives de programmation – notamment lors d’un séjour chez ses parents – ont conduit à la création d’Omega, un agent conversationnel basé sur ChatGPT, spécialisé dans le traitement et l’analyse d’images.

Omega en action : un aperçu de ses capacités

La présentation a mis en lumière un large éventail de fonctionnalités impressionnantes qu’Omega apporte à l’écosystème Napari :

• Contrôle interactif du visualiseur : Omega permet de contrôler l’interface de Napari par de simples commandes en langage naturel, comme passer d’une vue 2D à 3D, faire pivoter la caméra ou zoomer.
  
  

• Gestion fluide des fichiers : l’ouverture de fichiers d’images, y compris de formats complexes comme les ensembles OME-Zarr issus de dépôts tels que l’IDR à l’EBI, devient simple grâce à la compréhension du contexte utilisateur.
  
  

• Intégration avec des outils établis : Omega s’intègre de manière étroite à des outils d’analyse largement utilisés comme CellPose et StarDist pour des tâches telles que la segmentation de noyaux. Il peut même enchaîner avec des analyses secondaires (par ex. compter les objets segmentés et exporter les résultats en CSV).
  
  

• Génération à la demande de widgets : l’une des fonctionnalités les plus puissantes est la capacité d’Omega à générer des widgets personnalisés ou « micro-plugins » dans Napari, adaptés à des tâches spécifiques (filtrer des labels selon la surface, créer des outils spécialisés à la volée). Le nom « Omega », dernière lettre de l’alphabet grec, reflète l’idée d’un plugin ultime et englobant.
  
  

• Widgets avancés de traitement d’images : démonstration de la création de widgets sophistiqués, comme une projection 3D colorée en fonction de la profondeur des voxels et de leur intensité.
  
  

• Planification d’analyse étape par étape : Omega aide à concevoir et exécuter des workflows d’analyse. L’utilisateur décrit l’image et le résultat souhaité, Omega propose un plan détaillé, qui peut ensuite être ajusté par l’utilisateur.
  
  

• Apprentissage et explication : Omega joue aussi un rôle de compagnon pédagogique, capable d’expliquer les principes derrière diverses opérations (seuil d’Otsu, morphologie en niveaux de gris, etc.).

Surmonter les défis: résilience et adaptation

Dr Royer a souligné l’importance cruciale de la récupération d’erreurs et de l’adaptation dans Omega. Connaissant les versions des bibliothèques bio-imagerie pertinentes, l’agent peut anticiper et résoudre des problèmes de compatibilité. Une démonstration de segmentation d’image RGB par l’algorithme SLIC a illustré sa capacité à détecter une erreur (décalage de version de scikit-image), en comprendre la cause, puis réviser automatiquement le code pour atteindre l’objectif. Cette boucle itérative améliore grandement l’expérience utilisateur.

Par ailleurs, Omega a acquis la capacité de « voir » grâce à son intégration avec des LLM multimodaux. Il peut analyser les images chargées dans Napari et prendre des décisions éclairées (pa. ex. reconnaître une tasse de café parmi plusieurs images ou choisir automatiquement les bons outils de segmentation selon le contenu des couches d’image). Même si ces capacités visuelles en sont encore à leurs débuts, le potentiel futur est immense.

Donner du pouvoir aux utilisateurs : l’éditeur de code augmenté par IA

Conscient du besoin de contrôle et du souhait de modifier le code généré, le Dr Royer a présenté l’éditeur de code intégré d’Omega, enrichi par l’IA. Il permet de :

• visualiser, modifier et relancer tout le code généré,
  
  

• formater automatiquement le code, vérifier sa sécurité,
  
  

• adapter un widget 2D pour traiter des données 3D.
  
  

Les utilisateurs peuvent ainsi apprendre du code généré et le personnaliser selon leurs besoins. De plus, toutes les interactions et scripts générés peuvent être enregistrés en notebooks Jupyter, garantissant la reproductibilité.

La salle des machines: comment fonctionne Omega

Au cœur d’Omega se trouve un agent bâti sur les API de complétion des LLM de pointe. Cet agent s’appuie sur une mémoire conçue sur mesure pour suivre les interactions et sur l’approche « React Agents », qui lui permet de raisonner, d’invoquer divers outils, d’observer l’environnement (Napari, Internet, machine locale) et de planifier ses actions.

Un large éventail d’outils spécialisés permet à Omega d’interagir avec Napari, d’accéder au web, d’exécuter des segmentations, de sonder l’état du viewer et même de « voir » le contenu d’une image. S’il utilise principalement les modèles d’OpenAI, Omega est aussi conçu pour rester compatible avec d’autres modèles de pointe et LLM open-source.

Démonstration en direct: l’imagination libérée

La présentation s’est conclue par une démonstration saisissante des capacités d’Omega. Le Dr Royer a chargé une image d’astronaute et demandé à Omega d’exécuter une série de transformations complexes (conversion en niveaux de gris avec pondération perceptive, flou gaussien, visualisation du gradient en teintes et luminance). Malgré un petit incident, Omega a su exécuter l’ensemble et corriger l’erreur en cours de route.

Autre exemple marquant : Omega a généré en moins d’une minute un widget qui découpe une image 2D en tuiles, calcule l’entropie de chacune et recompose une carte de complexité visuelle. Cette rapidité illustre le potentiel de création d’outils spécialisés à la demande.

L’avenir de la bio-imagerie: collaboration et empowerment

Lors de la séance de questions, la discussion a porté sur le rôle futur des analystes en bio-imagerie face à des outils d’IA toujours plus puissants. Le Dr Royer s’est montré optimiste : selon lui, des outils comme Omega agiront comme des multiplicateurs, permettant aux analystes d’accomplir des tâches plus complexes plus vite, tout en se concentrant sur des problématiques de haut niveau.

Concernant la rareté croissante de nouvelles données d’entraînement pour les LLM, il a fait l’analogie avec AlphaZero, capable de maîtriser les échecs par auto-apprentissage, suggérant que les modèles pourront continuer à progresser en explorant leur environnement.

Conclusion: adopter la révolution de l’IA conversationnelle en bio-imagerie

La présentation du Dr Royer a démontré de manière éclatante le potentiel transformateur de l’intégration des LLM dans les workflows d’analyse bio-imagerie via Omega. Cet outil innovant offre une approche plus intuitive et interactive du traitement d’images, donnant aux chercheurs la capacité de générer des pipelines et widgets personnalisés avec une rapidité et une flexibilité inédites. À mesure que la technologie des LLM progresse, l’avenir de l’analyse bio-imagerie reposera sur une collaboration plus étroite entre expertise humaine et assistance intelligente, ouvrant la voie à des découvertes plus rapides et plus approfondies.

Points clés :

• Omega est un plugin Napari exploitant les LLM pour une analyse bio-imagerie conversationnelle.
  
  

• Il offre un contrôle intuitif du viewer, une gestion fluide des fichiers et une intégration avec les outils d’analyse existants.
  
  

• Sa fonction phare est la génération à la demande de widgets personnalisés.
  
  

• Omega démontre une remarquable résilience et capacité d’adaptation aux erreurs.
  
  

• L’éditeur de code augmenté par IA permet aux utilisateurs de comprendre, modifier et réutiliser le code généré.
  
  

• Le Dr Royer envisage les LLM comme des outils amplifiant les capacités des analystes, leur permettant d’aborder efficacement des problèmes plus complexes.
  
  

Pour en savoir plus sur Omega et explorer ses fonctionnalités, référez-vous à l’article associé dans Nature Methods et au dépôt de code du projet: https://github.com/royerlab/napari-chatgpt 

Aug 2025 - spanish version

Revolucionando el análisis de bioimágenes: liberando el poder de los grandes modelos de lenguaje con Omega

El campo del análisis de imágenes biológicas está en constante evolución, enfrentando conjuntos de datos cada vez más complejos y exigiendo flujos de procesamiento sofisticados. ¿Cómo pueden los investigadores mantener el ritmo y extraer información significativa de manera eficiente? En una presentación fascinante en el Seminario GloBIAS BioImage Analysis, el Dr. Loïc Alain Royer, líder de grupo senior y director de IA en imágenes en el Chan Zuckerberg Biohub, presentó Omega, un agente conversacional innovador que aprovecha las capacidades de los grandes modelos de lenguaje (LLM) para transformar la forma en que interactuamos con y analizamos imágenes biológicas. No se trata solo de automatización; se trata de fomentar un diálogo dinámico entre la mente y la máquina.

El origen de Omega: de un proyecto de fin de semana a una herramienta poderosa

El Dr. Royer compartió la historia del origen de Omega, describiéndolo como un “proyecto de fin de semana” nacido del entusiasmo por la aparición de tecnologías como ChatGPT. Impulsado por la visión de un futuro donde el análisis de bioimágenes pudiera convertirse en una conversación fluida con una máquina inteligente, comenzó a desarrollar una herramienta capaz de cerrar la brecha entre la potencia de bibliotecas de análisis de imágenes, como Napari, y la comprensión intuitiva de los LLM. Sus intensas jornadas de programación —particularmente durante una visita a sus padres— dieron lugar a la creación de Omega: un agente conversacional basado en ChatGPT, especializado en procesamiento y análisis de imágenes.

Omega en acción: una mirada a sus capacidades

La presentación mostró una gama de funcionalidades impresionantes que Omega aporta al ecosistema de Napari:

• Control interactivo del visor: Omega permite controlar el visor de Napari mediante simples comandos en lenguaje natural, como cambiar entre vistas 2D y 3D, rotar la cámara o hacer zoom.
  
  

• Gestión fluida de archivos: Abrir archivos de imagen, incluso en formatos complejos como conjuntos OME-Zarr, desde repositorios como el IDR en el EBI, se convierte en una tarea sencilla gracias a la interpretación del contexto por parte de Omega.
  
  

• Integración con herramientas consolidadas: Omega se integra estrechamente con herramientas populares de análisis como CellPose y StarDist para tareas de segmentación de núcleos. Incluso puede realizar análisis posteriores, como contar el número de objetos segmentados y exportar los resultados a archivos CSV.
  
  

• Generación de widgets a demanda: Una de las características más potentes de Omega es su capacidad para generar widgets personalizados o “micro-plugins” en Napari, adaptados a tareas específicas (filtrar etiquetas por superficie, crear herramientas especializadas al instante). El nombre “Omega”, la última letra del alfabeto griego, simboliza esta idea de crear un complemento final y que englobe todo el proceso.
  
  

• Widgets avanzados de procesamiento de imágenes: El Dr. Royer demostró la creación de widgets sofisticados, como uno para crear una proyección 3D en color en función de la profundidad e intensidad de los vóxeles.
  
  

• Planificación paso a paso de análisis: Omega puede asistir en el diseño y ejecución de flujos de trabajo. El usuario describe la imagen y el resultado deseado, y Omega propone un plan detallado que luego puede perfeccionarse de manera colaborativa.
  
  

• Aprendizaje y explicación: Omega actúa también como compañero pedagógico, capaz de explicar principios detrás de operaciones como el umbral de Otsu o la morfología en escala de grises.
  
  

Superando desafíos: resiliencia y adaptación

El Dr. Royer destacó el aspecto crucial de la recuperación de errores y la adaptación en Omega. Al estar informado sobre las versiones de bibliotecas relevantes, Omega puede anticipar y resolver problemas de compatibilidad. En una demostración de segmentación de una imagen RGB con el algoritmo SLIC, Omega detectó el error, comprendió su causa (incompatibilidad de versión de scikit-image) y revisó automáticamente el código hasta lograr el resultado esperado. Este refinamiento iterativo mejora notablemente la experiencia del usuario.

Además, Omega ha adquirido la capacidad de “ver” gracias a su integración con LLM multimodales. Esto le permite analizar imágenes cargadas en Napari y tomar decisiones fundamentadas, como identificar una taza de café entre varias imágenes o elegir de manera autónoma herramientas de segmentación apropiadas (CellPose, StarDist) según el contenido de las capas. Aunque estas capacidades visuales aún están en evolución, el Dr. Royer subrayó el enorme potencial de cara al futuro.

Empoderando a los usuarios: el editor de código aumentado por IA

Reconociendo la necesidad de un mayor control por parte de los usuarios y el deseo de conservar y modificar el código generado, el Dr. Royer presentó el editor de código integrado y potenciado con IA de Omega. Esta función permite a los usuarios visualizar, editar y volver a ejecutar todo el código generado por Omega. También incluye herramientas basadas en IA para el formateo del código, la evaluación de su seguridad e incluso la modificación automática para tareas como adaptar un widget de procesamiento de imágenes 2D para manejar datos en 3D. Esto brinda a los usuarios la posibilidad de aprender del código generado y personalizarlo según sus necesidades específicas. De manera importante, todas las interacciones y el código generado pueden guardarse como cuadernos de Jupyter, garantizando la reproducibilidad.

La sala de máquinas: cómo funciona Omega

En el núcleo de Omega se encuentra un agente construido sobre las API de modelos de lenguaje más novedosos. Este agente utiliza una memoria diseñada a medida para seguir las interacciones, junto con un enfoque de “React Agents” que le permite razonar, invocar herramientas, observar el entorno (Napari, Internet, máquina local) y planificar acciones.

Una amplia gama de herramientas especializadas permite a Omega interactuar con Napari, acceder a Internet, realizar segmentaciones, consultar el estado del visor e incluso “ver” el contenido de las imágenes. Aunque se basa principalmente en los modelos de OpenAI, Omega está diseñado para ser compatible también con otros modelos novedosos y LLMs de código abierto.

Demostración en vivo: la imaginación en estado puro

La presentación culminó con una demostración en vivo de las capacidades de Omega. El Dr. Royer cargó una imagen de un astronauta y le pidió a Omega que ejecutara una serie de transformaciones complejas (convertir a escala de grises con ponderación perceptiva, aplicar desenfoque gaussiano y visualizar gradientes en matiz y luminancia). A pesar de un pequeño tropiezo, Omega completó las tareas, corrigiendo el error en el proceso.

En otro ejemplo notable, el Dr. Royer pidió a Omega que creara un widget para dividir una imagen 2D en mosaicos, calcular la entropía de cada uno y luego recomponer un mapa visual de complejidad de la imagen. El widget fue generado y ejecutado en menos de un minuto, mostrando el potencial para crear herramientas de análisis altamente especializadas a demanda.

El futuro del análisis de bioimágenes: colaboración y empoderamiento

En la sesión de preguntas posteriores, se debatió sobre el papel futuro de los analistas de bioimágenes frente a herramientas de IA cada vez más poderosas. El Dr. Royer se mostró optimista: considera que herramientas como Omega actuarán como multiplicadores, permitiendo a los analistas realizar tareas más complejas con rapidez y centrarse en problemas de mayor nivel.

Respecto a la creciente escasez de datos de entrenamiento nuevos para los LLM, hizo una analogía con AlphaZero, capaz de dominar el ajedrez mediante autoaprendizaje, sugiriendo que los modelos pueden seguir mejorando a través de la exploración y la interacción con su entorno.

Conclusión: adoptando la revolución de la IA conversacional en bioimágenes

La presentación del Dr. Royer demostró con fuerza el potencial transformador de integrar los LLM en los flujos de trabajo de análisis de bioimágenes mediante Omega. Esta herramienta innovadora ofrece un enfoque más intuitivo e interactivo para el procesamiento de imágenes, empoderando a los investigadores para generar flujos de análisis y widgets personalizados con una rapidez y flexibilidad sin precedentes. A medida que la tecnología de los LLM continúe avanzando, el futuro del análisis de bioimágenes estará marcado por una colaboración más estrecha entre la experiencia humana y la asistencia inteligente de herramientas como Omega, conduciendo a descubrimientos más eficientes y profundos.

Puntos clave:

• Omega es un plugin de Napari que aprovecha los LLM para un análisis de bioimágenes conversacional.
  
  

• Permite control intuitivo del visor, gestión fluida de archivos e integración con herramientas de análisis existentes.
  
  

• Una característica clave es la generación a demanda de widgets personalizados para tareas específicas.
  
  

• Omega demuestra una notable resiliencia y capacidad de recuperación de errores.
  
  

• El editor de código aumentado por IA permite a los usuarios comprender, modificar y reutilizar el código generado.
  
  

• El Dr. Royer concibe los LLM como herramientas que amplifican las capacidades de los analistas, permitiéndoles abordar problemas más complejos de forma eficiente.
  
  

Para obtener más información sobre Omega y explorar sus capacidades, consulte el artículo asociado en Nature Methods y el repositorio de código del proyecto. https://github.com/royerlab/napari-chatgpt

Aug 2025 - chinese version

講題: 生物影像分析的進化：與 Omega 一起釋放大語言模型的力量

講者:  Loïc Alain Royer 博士（Chan Zuckerberg Biohub 人工智能影像資深組長兼主任）

演講日期: 十月31日, 2024

演講連結

面對日益複雜的數據集和愈加精細的處理流程，生物影像分析正不斷地進化發展。但研究人員要如何才能跟上這個快速的節奏，高效率地提取有意義的訊息？在 GloBIAS 生物影像分析研討會 上，Loïc Alain Royer 博士（Chan Zuckerberg Biohub 人工智能影像資深組長兼主任）進行了一場引人注目的演講，介紹了 Omega — 一款創新地智能助理，利用大語言模型（LLM）的能力，徹底改變我們分析生物圖像的互動方式，建立了自動化之外，人與機器之間的另一種動態式對話。

Omega 的誕生：從周末專案到強大工具

 Royer 博士分享了 Omega 的發想來源— ChatGPT 等新興技術，他憧憬著一個在進行生物影像分析時能與智能機器自然對話的未來，於是他開啟了一個“周末專案”。他著手開發一款能在 napari高階影像分析庫中直覺式的使用大型語言模型的工具Omega。就在數個周末與父母碰面的旅途中，他完成了這個作品—Omega，一個以 ChatGPT為基礎的智能對話助理，特別擅長圖像處理與分析。

Omega 實戰展示：帶你搶先體驗非凡能力

演講中展示了 Omega 在 napari系統中諸多令人印象深刻的功能：

• 交互式視圖控制：通過自然語言即可操控 napari的視圖界面，例如切換 2D/3D 視角、旋轉鏡頭、縮放等。

• 高度理解文件處理的需求：Omega 能理解用戶意圖，輕鬆打開複雜文件格式，如 EBI-IDR 的 OME-Zarr 數據集。

• 與主流工具整合：可與 CellPose、StarDist 等常用的工具高度整合完成圖像分割，並可進行後續分析，如計數並導出結果到 CSV等。

•  可依需求生成插件：Omega 最具代表性的特色之一即是在 napari 內可即時生成客製化的 “微型插件”，用來完成特定任務例如根據面積篩選物件等。之所以命名為“Omega”是因為它是希臘字母的最後一個符號，象徵著一種最終、全能的插件。

• 高階的圖像處理插件：可創建設計精良的插件，例如根據影像深度和亮度進行 3D 彩色投影。

• 逐步規劃分析流程：用戶只需描述圖像與預期目標，Omega 即可提出逐步分析方案，供用戶調整優化，並將意見回饋給Omega重新調整分析策略。

• 隨身的智能家教：Omega 還能解釋圖像處理方法背後的原理，如 Otsu 閾值法、灰階值形態學等。

克服挑戰：韌性與適應性

Royer 博士強調了Omega在修正錯誤與適應性的重要特點。通過了解不同工具箱的版本，Omega 能預見並修正潛在的相容性問題。例如在用 SLIC 演算法分割 RGB 圖像時，Omega 能識別錯誤並理解其無法運行的原因來自於scikit-image版本不相容的問題，並自動修復代碼完成任務。這種叠代改進極大提升了用戶體驗。

此外，借助多模態 LLM 的集成，Omega 獲得了“視覺”能力。它能分析 napari 中加載的圖像，並據此作出決策，例如從多張圖片中識別出一杯咖啡，或根據不同圖層的內容自動選擇合適的分割工具如CellPose 或 StarDist等。儘管這些視覺功能仍在發展中，但擁有巨大的潛力是未來必然之趨勢。

賦能用戶：AI 增強代碼編輯器

考慮到用戶希望掌控並修改生成的代碼，Royer 博士展示了 Omega 的 AI 增強代碼編輯器。它提供了查看、編輯與重新執行所有Omega生成的程式碼，並利用人工智慧進行自動修正、格式化與安全性檢查，並自動根據任務修改程式碼，例如將 2D 影像處理插件改為處理3D影像格式等。用戶不僅能透過生成的代碼摹寫，還可根據需求定製。最重要的是，所有互動和代碼都可保存為 Jupyter notebook，克服了大型語言模型提供解方時的再現性問題。

Omega 的工作原理

在演講中Dr. Royer也解釋了Omega的基礎架構。Omega是以最新一代大型語言模型的應用程式介面( API) 作為運算核心，它借助智慧化的記憶模組與用戶互動，並使用推理後再行動的“React Agents”演算法思考後，再調用工具並觀察所在的電腦環境例如napari、網際網路或使用者電腦後，規劃出完整的分析流程。它具備豐富的工具集，可與 napari互相支援、查詢網路資料、執行分割、切換視角，甚至“理解”圖像本身的內容。雖然主要基於 OpenAI 的模型，Omega 也設計為可兼容其他新穎與開源大型語言模型。

現場演示：釋放想象力

演講的壓軸是透過實況演示直接的展示Omega的驚人魅力。Royer 博士加載了領航員圖像，讓 Omega 執行一系列複雜操作包含使用感知加權灰階度調整、高斯模糊、使用色相與亮度顯示影像梯度等。即便過程中出現小問題，Omega 仍順利完成並自動找出並修正錯誤。

另一範例中，他要求 Omega 生成一個插件用來將 2D 圖像拆解成不同磁磚塊、計算每塊的熵，再放大合成熵圖，從而展示圖像複雜度。整個生成插件的過程不到一分鐘，展現了即時創建專業工具的潛力。

生物影像分析的未來：協作與賦能

在問答的環節，大家探討了分析師在 AI 工具愈發強大的時代中的角色與定位。Royer 博士樂觀認為，Omega 等工具將成為“倍增器”，幫助分析師更快完成複雜的任務，把精力集中在更高層次的問題解決上。他相信唯有積極採用這些技術，才能在這個領域中保持領先優勢。

對於 大型語言模型的訓練數據逐漸稀缺的擔憂，他借用 AlphaZero 通過自我博弈的例子來說明人工智慧模型可通過與環境互動和自我探索繼續學習進化。

結論：開啟生物影像的對話式 AI 新時代

Royer 博士的演講充分展示了Omega將大型語言模型整合於生物影像分析的重大潛力。Omega 提供了一種更直觀與自然的互動方式來分析影像，使研究人員能以前所未有的速度與靈活性構建客製化的分析流程與插件。隨著 LLM 技術不斷進步，生物影像分析的未來將是人類專家與智能助理更緊密的合作，從而實現更高效、更深入的發現。

重點摘要：

• Omega 是 napari 插件，利用 LLM 實現對話式生物影像分析。

• 它提供直覺的視角控制、文件處理，並與現有工具完美整合。

•  它可根據需求生成客製化插件與影像分析流程。

•  Omega 具備卓越的修正錯誤與適應能力。

•  內建的 AI 增強代碼編輯器幫助用戶理解、修改並重複使用分析代碼。

•  Royer 博士認為 LLM 將擴展分析師的能力，使其更高效地解決複雜問題。

 如需進一步了解 Omega 並探索其功能，請參閱 Nature Methods 相關論文及專案代碼庫。

June 2025 - portuguese version

Utilização de Modelos de Linguagem de Grande Escala para Análise de Bioimagens: Introdução ao Chatbot BioImage.IO

No panorama em constante evolução da análise de bioimagens, navegar pela vasta gama de ferramentas e metodologias disponíveis pode ser um grande desafio. Um recente seminário do GloBIAS destacou o potencial transformador dos Modelos de Linguagem de Grande Escala (LLMs) neste domínio, com uma apresentação esclarecedora de Caterina Fuster-Barceló, da Universidad Carlos III de Madrid, sobre o chatbot BioImage.IO. Esta ferramenta inovadora promete simplificar fluxos de trabalho e melhorar o acesso à informação para analistas de bioimagens em todo o mundo.

O Potencial e os Riscos dos LLMs na Bioimagem

Caterina Fuster-Barceló descreveu de forma eloquente as possibilidades entusiasmantes que os LLMs, como o ChatGPT, oferecem para a análise de bioimagens. Estes modelos sofisticados, treinados com grandes volumes de dados, têm a capacidade de processar formatos de informação diversos e executar tarefas complexas, podendo revolucionar a forma como interagimos com imagens biológicas e as analisamos.

Contudo, também destacou os desafios inerentes aos LLMs atuais:

• Limite de Conhecimento: Os LLMs podem não ter conhecimento de avanços recentes publicados após a sua última atualização.
  
  

• Alucinações: Podem gerar informações factualmente incorretas sem reconhecer as suas limitações.
  
  

• Tendência (Bias): Os dados de treino podem introduzir enviesamentos que afetam as respostas do modelo.
  
  

• Fraca Reprodutibilidade: Perguntas idênticas podem gerar respostas diferentes, o que dificulta procedimentos laboratoriais padronizados.

O Chatbot BioImage.IO: Um Assistente Fiável para Analistas de Bioimagens

Para ultrapassar estas limitações e aproveitar eficazmente o poder dos LLMs, foi desenvolvido o chatbot BioImage.IO, fruto de um esforço colaborativo e apresentado num artigo da Nature Methods. Estreitamente ligado ao BioImage Model Zoo (bioimage.io), um repositório comunitário de modelos de aprendizagem profunda para análise de bioimagens, o chatbot atua como um assistente inteligente concebido para melhorar a fiabilidade e acessibilidade na recuperação de informação.

Funcionalidades Principais do Chatbot BioImage.IO:

• Geração Aumentada por Recuperação (RAG): Esta funcionalidade essencial reforça a fiabilidade do chatbot ao complementar o conhecimento do LLM com uma base de dados comunitária curada, composta por documentação do BioImage Model Zoo e dos seus parceiros comunitarios. As questões dos utilizadores são vetorizadas e comparadas com fragmentos de documentação vetorizada para garantir que a informação recuperada é relevante e fidedigna, minimizando alucinações.

• Integração com Bases de Dados e Serviços Online: O chatbot pode interagir com vários recursos online, incluindo o BioImage Archive, BioImage Informatics Index, BioTools, Human Protein Atlas e o fórum Image.sc, através de chamadas API. Isto permite aos utilizadores procurar dados e informações de forma eficiente, sem navegar por múltiplos sites.

• Execução de Modelos de IA: O chatbot BioImage.IO tem a capacidade de executar modelos de IA específicos, como o Cellpose, diretamente através da sua interface. Isto simplifica o processo de testar e aplicar estes modelos a dados fornecidos pelo utilizador.

• Arquitetura Extensível: Construído com base num mecanismo de extensões, a funcionalidade do chatbot pode ser facilmente expandida através do desenvolvimento de novas extensões em Python ou JavaScript. Isto permite a integração de ferramentas e fluxos de trabalho diversos, incluindo até o controlo em tempo real de microscópios.

• Design Centrado no Utilizador: O chatbot permite que os utilizadores definam o seu perfil, possibilitando respostas mais personalizadas e relevantes com base na sua experiência (por exemplo, programador de deep learning vs. cientista da vida). Além disso, o feedback dos utilizadores é ativamente solicitado para melhorar continuamente o desempenho do chatbot.

Conheça os Assistentes: Melman, Bridget e Nena

Para responder a diferentes necessidades dos utilizadores, o chatbot BioImage.IO oferece três assistentes especializados:

• BioImage Seeker (Melman): O seu assistente de eleição para procurar documentação de parceiros comunitários e recuperar informação através de chamadas API a bases de dados como o BioImage Archive e o BioImage Informatics Index.

• BioImage Tutor (Bridget): Concebido para responder a perguntas técnicas sobre análise de bioimagens e inteligência artificial, com base numa biblioteca cuidadosamente curada de livros e capítulos.

• BioImage Analyst (Nena): Capacita os utilizadores a gerar e executar código, permitindo tarefas como correr o Cellpose em imagens carregadas.

Como aceder ao Chatbot BioImage.IO

O chatbot BioImage.IO está disponível através de três canais convenientes:

• Como widget integrado no site do BioImage Model Zoo.

• Através de um navegador web.

• Como um GPT na loja do ChatGPT.Como widget integrado en el sitio web de BioImage Model Zoo.

Contribuir para o Futuro da Análise de Bioimagens

O chatbot BioImage.IO é um testemunho do poder da colaboração comunitária. Os investigadores são incentivados a contribuir para o seu desenvolvimento contínuo, criando novas extensões, adicionando documentação para as suas ferramentas e fornecendo feedback valioso. Este esforço coletivo garantirá que o chatbot continue a ser um recurso relevante e poderoso para a comunidade de análise de bioimagens.

Conclusão: Capacitar Analistas de Bioimagens com Assistência Inteligente

O chatbot BioImage.IO representa um avanço significativo na utilização de modelos de linguagem de grande escala para a análise de bioimagens. Ao priorizar a recuperação fiável de informação, oferecer funcionalidades extensíveis e manter uma abordagem centrada no utilizador, promete ser uma ferramenta inestimável para investigadores em todo o mundo.

Pronto para experimentar o chatbot BioImage.IO? Explora-o através do site do BioImage Model Zoo, do teu navegador ou da loja ChatGPT. Encorajamos-te a partilhar o teu feedback e a participar na discussão no Image.sc para contribuir para a evolução contínua deste projeto entusiasmante.

June 2025 - spanish version

Aprovechando los Modelos de Lenguaje Grandes para el Análisis de Imágenes Biológicas: Presentamos el BioImage.IO Chatbot

En el panorama en constante evolución del análisis de imágenes biológicas, navegar entre la gran cantidad de herramientas y metodologías disponibles puede representar un desafío importante. Un reciente seminario de GloBIAS arrojó luz sobre el potencial transformador de los Modelos Extenso del Lenguaje  (LLMs, por sus siglas en inglés) en este campo, con una presentación esclarecedora de Caterina Fuster-Barceló, de la Universidad Carlos III de Madrid, sobre el BioImage.IO Chatbot. Esta innovadora herramienta promete agilizar los flujos de trabajo y mejorar la accesibilidad para analistas de imágenes biológicas en todo el mundo.

La Promesa y los Riesgos de los LLMs en el Análisis de Imágenes Biológicas

Caterina Fuster-Barceló expuso con elocuencia las posibilidades emocionantes que ofrecen los LLMs, como ChatGPT, para el análisis de imágenes biológicas. Estos modelos sofisticados, entrenados con enormes volúmenes de datos, tienen la capacidad de procesar formatos de información diversos y ejecutar tareas complejas, lo que potencialmente revolucionará la forma en que interactuamos con las imágenes biológicas y las analizamos.

Sin embargo, también señaló los desafíos inherentes a los LLMs actuales:

• Límite de conocimiento: Los LLMs pueden carecer de conocimiento sobre avances recientes publicados después de su última actualización.
  
  

• Alucinaciones: Pueden generar información incorrecta sin reconocer sus propias limitaciones.
  
  

• Sesgos: Los datos de entrenamiento pueden introducir sesgos que afectan las respuestas del modelo.
  
  

• Poca reproducibilidad: Consultas idénticas pueden producir respuestas diferentes, lo que representa un problema para procedimientos de laboratorio estandarizados.

El BioImage.IO Chatbot: Un Asistente Confiable para Analistas de Imágenes

Para abordar estas limitaciones y aprovechar el poder de los LLMs de manera efectiva, se ha desarrollado el BioImage.IO Chatbot como un esfuerzo colaborativo, descrito en un artículo de Nature Methods. Vinculado estrechamente al BioImage Model Zoo, un repositorio impulsado por la comunidad de modelos de aprendizaje profundo para análisis de imágenes, el chatbot actúa como un asistente inteligente diseñado para mejorar la fiabilidad y accesibilidad en la recuperación de información.

Características Clave del BioImage.IO Chatbot

• Generación Aumentada por Recuperación (RAG): Esta característica esencial sustenta la fiabilidad del chatbot al complementar el conocimiento del LLM con una base de conocimientos curada de la comunidad, que incluye documentación del BioImage Model Zoo y sus socios. Las consultas de los usuarios se vectorizan y se comparan con fragmentos vectorizados de documentación para asegurar que la información recuperada sea relevante y veraz, minimizando las alucinaciones.

• Integración con Bases de Datos y Servicios en Línea: El chatbot puede interactuar con múltiples recursos en línea, como el BioImage Archive, BioImage Informatics Index, BioTools, Human Protein Atlas y el foro Image.sc, mediante llamadas a APIs. Esto permite a los usuarios buscar datos e información de manera eficiente sin tener que navegar por varios sitios.

• Ejecución de Modelos de IA: El chatbot tiene la capacidad de ejecutar ciertos modelos de IA, como Cellpose, directamente desde su interfaz. Esto simplifica el proceso de probar y aplicar estos modelos a datos proporcionados por el usuario.

• Arquitectura Extensible: Construido sobre un mecanismo de extensiones, la funcionalidad del chatbot puede ampliarse fácilmente mediante el desarrollo de nuevas extensiones en Python o JavaScript. Esto permite integrar herramientas y flujos de trabajo diversos, incluso control de microscopios en tiempo real.

• Diseño Centrado en el Usuario: El chatbot permite a los usuarios definir su perfil, lo que posibilita respuestas más relevantes según su nivel de experiencia (por ejemplo, desarrollador en aprendizaje profundo vs. científico de la vida). Además, se solicita activamente la retroalimentación del usuario para mejorar continuamente el rendimiento del chatbot.

Conoce a los Asistentes: Melman, Bridget y Nina

Para atender distintas necesidades, el BioImage.IO Chatbot ofrece tres asistentes especializados:

• BioImage Seeker (Melman): Tu asistente ideal para buscar documentación de socios comunitarios y recuperar información a través de APIs de bases de datos como BioImage Archive e Image Informatics Index.
  
  

• BioImage Tutor (Bridget): Diseñado para responder preguntas técnicas sobre análisis de imágenes biológicas e inteligencia artificial, utilizando una biblioteca curada de libros y capítulos.
  
  

• BioImage Analyst (Nina): Empodera a los usuarios para generar y ejecutar código, permitiendo tareas como ejecutar Cellpose sobre imágenes cargadas.

Cómo Acceder al BioImage.IO Chatbot

El BioImage.IO Chatbot está disponible a través de tres canales convenientes:

• Como widget integrado en el sitio web de BioImage Model Zoo.
  
  

• A través de un navegador web.
  
  

• Como un GPT dentro de la tienda de ChatGPT.

Contribuyendo al Futuro del Análisis de Imágenes Biológicas

El BioImage.IO Chatbot es un testimonio del poder de la colaboración comunitaria. Se alienta a los investigadores a contribuir a su desarrollo continuo creando nuevas extensiones, agregando documentación para sus herramientas y proporcionando retroalimentación valiosa. Este esfuerzo colectivo garantizará que el chatbot siga siendo un recurso relevante y poderoso para la comunidad de análisis de imágenes biológicas.

Conclusión: Empoderando a los Analistas con Modelos Extensos del Lenguaje

El BioImage.IO Chatbot representa un avance significativo en el aprovechamiento de modelos de lenguaje grandes para el análisis de imágenes biológicas. Al priorizar la recuperación confiable de información, ofrecer funcionalidades extensibles y mantener un enfoque centrado en el usuario, promete convertirse en una herramienta invaluable para investigadores de todo el mundo.

¿Listo para experimentar el BioImage.IO Chatbot? Explóralo a través del sitio web de BioImage Model Zoo, tu navegador web o la tienda de ChatGPT. ¡Te animamos a compartir tu opinión y unirte a la conversación en image.sc para contribuir a la evolución continua de este emocionante proyecto!

June 2025 - french version

Exploiter les Modèles de Langage de Grande Taille pour l’Analyse d’Images Biologiques : Présentation du Chatbot BioImage.IO

Dans le paysage en constante évolution de l’analyse d’images biologiques, naviguer parmi la multitude d’outils et de méthodologies disponibles peut représenter un défi de taille. Un récent séminaire GloBIAS a mis en lumière le potentiel transformateur des modèles de langage de grande taille (LLMs) dans ce domaine, avec une présentation percutante de Caterina Fuster-Barceló, de l’Université Carlos III de Madrid, sur le chatbot BioImage.IO. Cet outil innovant promet de rationaliser les flux de travail et de renforcer l’accessibilité pour les analystes du monde entier.

Promesses et Limites des LLMs en Bioimagerie

Caterina Fuster-Barceló a brillamment présenté les derniers développements qu’offrent les LLMs, tels que ChatGPT, pour l’analyse d’images biologiques. Ces modèles sophistiqués, entraînés sur d’immenses volumes de données, ont la capacité de traiter des formats d’information variés et d’exécuter des tâches complexes, transformant potentiellement notre manière d’interagir avec les images biologiques et de les analyser.

Cependant, elle a également souligné certaines limites inhérentes aux LLMs actuels :

• Limite de connaissances: les LLMs peuvent ne pas connaître les avancées récentes publiées après leur dernière mise à jour.
  
  

• Hallucinations: ils peuvent produire des informations incorrectes sans en avertir l’utilisateur.
  
  

• Biais: les données d’entraînement peuvent introduire des biais affectant les réponses.
  
  

• Faible reproductibilité: des requêtes identiques peuvent générer des réponses différentes, posant des problèmes pour les procédures standardisées en laboratoire.

Le Chatbot BioImage.IO : Un Assistant Fiable pour les Analystes

Pour tirer parti du potentiel des LLMs tout en surmontant leurs limites, le chatbot BioImage.IO a été développé de manière collaborative et présenté dans un article de la revue Nature Methods. Étroitement lié au BioImage Model Zoo (bioimage.io), un référentiel communautaire de modèles d’apprentissage profond pour l’analyse d’images biologiques, ce chatbot agit comme un assistant intelligent, conçu pour améliorer la fiabilité et l’accessibilité de la recherche d’information.

Fonctionnalités Clés du Chatbot BioImage.IO

• Génération augmentée par récupération (RAG) : cette fonctionnalité essentielle renforce la fiabilité du chatbot en combinant les capacités du LLM avec une base de connaissances communautaire, incluant la documentation du BioImage Model Zoo et de ses partenaires. Les requêtes des utilisateurs sont vectorisées, comparées à des fragments de documentation vectorisés, afin de garantir que l’information restituée soit pertinente et exacte, réduisant ainsi les hallucinations.
  
  

• Intégration avec des bases de données et services en ligne : le chatbot peut interagir avec différentes ressources en ligne comme BioImage Archive, BioImage Informatics Index, BioTools, Human Protein Atlas, ou encore le forum Image.sc, via des appels API. Cela permet aux utilisateurs de rechercher efficacement des données sans devoir parcourir plusieurs sites.
  
  

• Exécution de modèles d’IA : le chatbot peut exécuter certains modèles d’IA comme Cellpose directement depuis son interface, simplifiant ainsi les tests et l’application de ces modèles à des données fournies par l’utilisateur.
  
  

• Architecture extensible : basé sur un mécanisme d’extensions, le chatbot peut facilement être enrichi par le développement de nouvelles extensions en Python ou JavaScript. Cela permet d’intégrer une grande variété d’outils et de flux de travail, y compris le contrôle en temps réel de microscopes.
  
  

• Conception centrée sur l’utilisateur : les utilisateurs peuvent définir leur profil, permettant au chatbot d’adapter ses réponses à leur niveau de compétence (par exemple, développeur IA vs biologiste). De plus, les retours des utilisateurs sont activement sollicités afin d’améliorer continuellement ses performances.

Découvrez les Assistants : Melman, Bridget et Nena

Pour répondre aux besoins variés des utilisateurs, le chatbot BioImage.IO propose trois assistants spécialisés :

• BioImage Seeker (Melman) : votre assistant pour la recherche documentaire auprès des partenaires communautaires et l’accès à des bases de données via des API (comme BioImage Archive ou BioImage Informatics Index).
  
  

• BioImage Tutor (Bridget) : conçu pour répondre à des questions techniques sur l’analyse d’images et l’intelligence artificielle, en s’appuyant sur une bibliothèque soigneusement sélectionnée de livres et chapitres.
  
  

• BioImage Analyst (Nena) : permet aux utilisateurs de générer et exécuter du code, notamment pour appliquer des modèles comme Cellpose à des images téléchargées.

Accéder au Chatbot BioImage.IO

Le chatbot BioImage.IO est facilement accessible via trois canaux :

• En tant que widget intégré au site web du BioImage Model Zoo.
  
  

• Via un navigateur web.
  
  

• En tant que GPT dans la boutique ChatGPT.

Contribuez à l’Avenir de l’Analyse d’Images Biologiques

Le chatbot BioImage.IO est le fruit d’une collaboration communautaire dynamique. Les chercheurs sont invités à contribuer à son développement en créant de nouvelles extensions, en ajoutant la documentation de leurs outils ou en fournissant leurs retours d’expérience. Cet effort collectif garantira que le chatbot demeure un outil pertinent et puissant pour toute la communauté.

Conclusion : Donner Plus de Pouvoir aux Analystes grâce à une Assistance Intelligente

Le chatbot BioImage.IO marque une avancée majeure dans l’utilisation des modèles de langage pour l’analyse d’images biologiques. En mettant l’accent sur la fiabilité de la recherche d’information, une architecture extensible et une approche centrée sur l’utilisateur, il s’annonce comme un outil précieux pour les chercheurs du monde entier.

Prêt·e à découvrir le chatbot BioImage.IO ? Essayez-le sur le site du BioImage Model Zoo, depuis votre navigateur ou via la boutique ChatGPT. Nous vous encourageons à partager vos retours et à participer à la discussion sur image.sc pour contribuer à l’évolution de ce projet prometteur.

June 2025 - chinese version

讲题: 利用大型语言模型进行生物图像分析： BioImage.IO 聊天机器人的诞生

讲者:  Caterina Fuster-Barceló (Universidad Carlos III de Madrid)

演讲日期: 九月27日, 2024

演讲连结

_____________________________________________________________________

  随着生物图像分析领域的蓬勃发展，如何众多的演算法和软体中选择合适的工具成为应用上的一大挑战。本次的GloBIAS 线上研讨会邀请到西班牙卡洛斯三世大学的 Caterina Fuster-Barceló展示大型语言模型（LLMs）在该领域的革命性应用并发表关于 BioImage.IO 聊天机器人的精彩演讲。这一创新工具有望简化工作流程，提高全球生物图像分析人员的信息获取效率。

大型语言模型在生物图像分析中的潜力与挑战

  本次演讲中Caterina Fuster-Barceló 非常兴奋地阐述了 LLMs（如 ChatGPT）在生物图像分析中的应用前景。透过庞大的数据训练，这些强大的模型具备处理多种数据格式和执行複杂任务的能力，有望彻底改变我们分析和理解生物图像的方式。

然而她也指出了当前 LLMs 存在的一些固有限制：

●  知识资料库的停滞问题： 在完成最新版本的更新之后，LLMs 缺乏新资料的认知。

●  幻觉现象： 模型可能会生成错误讯息，并缺乏任何资讯不确定性的警示。

●  偏见问题： 训练数据中的偏差可能影响模型的回答。

●  结果不一致： 相同的问题可能得出不同答案，对研究需要的标准流程构成 挑战。

BioImage.IO 聊天机器人：生物图像分析师的可靠帮手

  为了充分利用 LLMs 的能力并解决其不足，BioImage.IO 聊天机器人在众人的合作之下应运而生，并发表于《Nature Methods》期刊中。BioImage Model Zoo bioimage.io）是一个由生物图像分析社群贡献的深度学习模型库，透过与该资料库的紧密结合，BioImage.IO 聊天机器人在该资料库中扮演着智能助理的角色，以提升信息提取的可靠性与便捷性。

BioImage.IO 聊天机器人的核心功能

●  增强检索生成（RAG）： 此关键功能是通过将 LLM 与 BioImage Model Zoo 及相关社群伙伴的知识库结合，以提高讯息准确性。利用文字串的拆解与分割将用户的提问对应成可利用数学模型运算的向量表示方式，就如同图书馆内的图书资料整理与编列索书号般，再进一步执行语意比对与检索，藉由向量的高度相关性以提取真正可靠的资讯，减少一本正经的胡说八道（hallucination）的发生。

●  多个线上资料库的整合服务： 您可以直接透过输入让BioImage.IO聊天机器人查询多个资料库的内容，包括 BioImage Archive、BioImage Informatics Index、BioTools、Human Protein Atlas和 Image.sc 论坛。用户无需频繁切换网站，即可高效查找所需数据。

●  可直接执行 AI 生物影像分析模型： BioImage.IO聊天机器人可直接在其界面执行指定的 AI 模型（如 Cellpose），方便用户快速测试并应用这些模型于自己的图像数据中。

●  可扩展架构： 聊天机器人採用模组化设计，透过 Python 或 JavaScript 开发扩展功能。这使其能灵活集成各种工具和分析流程，甚至包括对显微镜的即时控制。

●  以用户为中心的设计： 用户可定义自己的角色和背景（如深度学习开发者或生命科学研究人员），从而获取更贴合其需求的答案。所有用户的回馈，将用以不断优化聊天机器人的表现。

认识智能助理群：Melman、Bridget 与 Nena

  为满足不同用户的需求，BioImage.IO 聊天机器人提供了三位不同定位的智能助理：

●  BioImage Seeker（Melman）： 用于搜索社群伙伴提供的文档，并通过 API 检索 BioImage Archive和Informatics Index等数据库的信息。

●  BioImage Tutor（Bridget）： 由精选的书籍与章节训练的智能导师，负责回答与生物图像分析和人工智能相关的技术问题。

●  BioImage Analyst（Nena）： 帮助用户编写和执行程式代码，实现上传图像地分析功能。

如何使用 BioImage.IO 聊天机器人

  您可透过下列三种方式轻松地与BioImage.IO 聊天机器人进行对答：

●  BioImage Model Zoo 官网的嵌入式小部件。

●  使用网页浏览器访问。

●  在 ChatGPT 应用商店中作为一个 GPT 的使用。

共同建立生物图像分析的未来

  BioImage.IO 聊天机器人是社群协作的结晶。我们鼓励研究人员参与开发新扩展、为自己开发的工具编写文档，并积极提供回馈。正是这种群体的力量，推动着机器人不断进化，保持其实用性和前沿性。

结语：BioImage.IO 聊天机器人是生物影像分析师的专属智能助理

  BioImage.IO 聊天机器人的推出象徵了大型语言模型应用于生物图像分析领域的重要进展。它以可靠讯息检索为核心，提供可扩展功能，并以用户体验为导向，致力于成为全球科研人员的有力助手。

想体验 BioImage.IO 聊天机器人吗？

欢迎通过 BioImage Model Zoo 网站、浏览器或 ChatGPT 应用商店来使用。我们诚邀您分享您的使用体验，并加入 image.sc 论坛 参与该项目的持续发展！

April 2025 - portuguese version

Navegar na Fronteira da IA: Modelos de Linguagem de Grande Escala na Análise de Bioimagens

Introdução

O campo da análise de bioimagens está a evoluir rapidamente, e os modelos de linguagem de grande escala (LLMs) estão a emergir como ferramentas poderosas para investigadores e analistas. Este artigo resume os principais pontos de um recente seminário do GloBIAS sobre LLMs, apresentado por Robert Haase, oferecendo uma introdução adaptada a cientistas da vida. A apresentação abordou a motivação, as aplicações e os desafios do uso de LLMs na análise de bioimagens, destacando o seu potencial para revolucionar a forma como extraímos dados significativos de imagens biológicas.

O que são Modelos de Linguagem de Grande Escala?

Os LLMs são um tipo de rede neuronal que pode ser utilizado para várias tarefas, incluindo tradução e geração de código. Embora não tenham sido originalmente concebidos para recuperação de conhecimento ou informação, os LLMs são cada vez mais usados para responder a perguntas e fornecer insights. No entanto, é importante estar atento a possíveis armadilhas, como as chamadas "alucinações", em que o modelo gera informações incorretas ou enganosas.

Aplicações-Chave na Análise de Bioimagens

• Geração de Código: Os LLMs podem traduzir texto em inglês para código executável, como Python, facilitando a automatização de tarefas de análise de imagens.

• Modificação de Imagens: Os LLMs podem modificar imagens de microscopia com base em instruções textuais, como desfocar ou melhorar a qualidade da imagem.

• Descrição de Imagens: Os LLMs podem descrever o conteúdo de uma imagem, o que é útil para anotação automática de imagens.    

Abordar a Reprodutibilidade

Uma crítica comum aos LLMs é a sua reprodutibilidade limitada, pois podem produzir resultados diferentes para o mesmo input. No entanto, o uso de LLMs para geração de código pode mitigar este problema. O código gerado, uma vez executado, produzirá consistentemente o mesmo resultado.

Como Funcionam os LLMs: Uma Visão Simplificada

As arquiteturas tradicionais de processamento de imagem geralmente envolvem redes codificadoras-decodificadoras, que transformam uma imagem de entrada numa imagem de saída. Os LLMs, baseados na arquitetura transformer, diferem ao incorporar três elementos: entrada, saída e uma saída deslocada. Isto permite que os LLMs traduzam entre diferentes formas de dados, como imagens e texto.

Técnicas Práticas para Otimizar LLMs

• Engenharia de Prompts: Criar prompts específicos para orientar o LLM para o resultado desejado.

• Geração Aumentada por Recuperação (RAG): Melhorar a precisão dos LLMs integrando-os com uma base de conhecimento específica do domínio.

• Chamadas de Funções: Utilizar LLMs para identificar e parametrizar funções que executam tarefas específicas.

• Ajuste Fino (Fine-Tuning): Personalizar um LLM pré-treinado com dados específicos da área para melhorar o seu desempenho

Uso Responsável de LLMs na Investigação

•     Compreender o Código: Compreender sempre o código gerado pelos LLMs e verificar a sua correção.

•     Questionar Métodos Estabelecidos: Utilizar medições manuais para validar os resultados.

•     Divulgar o Uso de LLMs: Ser transparente quanto ao uso de LLMs nos métodos de investigação.

•     Partilhar Prompts: Partilhar prompts eficazes com a comunidade para promover a aprendizagem coletiva.

Conclusão

Os modelos de linguagem de grande escala têm um enorme potencial na análise de bioimagens, oferecendo ferramentas para automatização, anotação e extração de dados. Ao compreender as suas capacidades e limitações, e ao adotar boas práticas no seu uso, os analistas de bioimagens podem aproveitar o poder dos LLMs para impulsionar novas descobertas e insights.

Recomendações Práticas

•     Explorar os LLMs para automatizar tarefas rotineiras de análise de imagens.

•     Experimentar com engenharia de prompts para otimizar o desempenho dos LLMs.

•     Contribuir para benchmarks de código aberto para avaliar e melhorar os LLMs.

•     Envolver-se com a comunidade GloBIAS para partilhar conhecimento e experiências.

Este artigo tem como objetivo fornecer o conhecimento necessário para começares a explorar e integrar LLMs nos teus fluxos de trabalho de análise de bioimagens. O potencial destes modelos é vasto, e a sua aplicação responsável promete desbloquear novas fronteiras na investigação em ciências da vida.

(Nota: Este artigo foi escrito de forma formal mas acessível, adequado para profissionais da área. Incorpora pontos-chave, exemplos e recomendações da apresentação, e incentiva a exploração contínua e o envolvimento com a comunidade.)

April 2025 - spanish version

Navegando la Frontera de la IA: Modelos de Lenguaje Grandes en el Análisis de Bioimágenes

Introducción

El campo del análisis de bioimágenes está evolucionando rápidamente, y los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) están emergiendo como herramientas poderosas para investigadores y analistas. Esta entrada de blog resume las ideas clave presentadas en un reciente seminario de GloBIAS sobre los LLMs, ofreciendo una introducción diseñada para científicos de la vida. La presentación abordó la motivación, las aplicaciones y los desafíos del uso de LLMs en el análisis de bioimágenes, destacando su potencial para revolucionar la forma en que extraemos datos significativos de imágenes biológicas.

¿Qué son los Modelos de Lenguaje Grandes?

Los LLMs son un tipo de red neuronal que pueden utilizarse para diversas tareas, como la traducción y la generación de código. Aunque originalmente no fueron diseñados para la recuperación de información o conocimiento, cada vez se usan más para responder preguntas y proporcionar información. No obstante, es importante tener en cuenta posibles inconvenientes, como las “alucinaciones”, donde el modelo genera información incorrecta o engañosa.

Aplicaciones Clave en el Análisis de Imágenes Biológicas

• Generación de Código: Los LLMs pueden traducir texto en inglés a código ejecutable, como Python, facilitando la automatización de tareas de análisis de imágenes.

• Modificación de Imágenes: Los LLMs pueden modificar imágenes de microscopía según instrucciones textuales, como desenfocar o mejorar la calidad de la imagen.

• Descripción de Imágenes: Los LLMs pueden describir el contenido de una imagen, lo cual es útil para la anotación automática de imágenes.

Abordando la Reproducibilidad

Una crítica común hacia los LLMs es su limitada reproducibilidad, ya que pueden generar resultados distintos para una misma entrada. Sin embargo, el uso de LLMs para la generación de código puede mitigar este problema. El código generado, una vez ejecutado, producirá de forma consistente el mismo resultado.

Cómo Funcionan los LLMs: Una Visión Simplificada

Las arquitecturas tradicionales de procesamiento de imágenes suelen implicar redes codificador-decodificador, que transforman una imagen de entrada en una imagen de salida. Los LLMs, basados en la arquitectura Transformador, se diferencian al incorporar tres elementos: entrada, salida y salida desplazada. Esto permite que los LLMs traduzcan entre diferentes formas de datos, como imágenes y texto.

Técnicas Prácticas para Optimizar los LLMs

• Ingeniería de Prompts: Crear instrucciones específicas para guiar al LLM hacia la salida deseada.

• Generación Aumentada por Recuperación (RAG): Mejorar la precisión de los LLMs integrándolos con una base de conocimiento específica del dominio.

• Llamada a Funciones: Usar LLMs para identificar y parametrizar funciones que puedan realizar tareas específicas.

• Ajuste Fino (Fine-Tuning): Personalizar un LLM preentrenadolo con datos específicos del dominio para mejorar su rendimiento.
  
  

Uso Responsable de los LLMs en la Investigación

• Comprender el Código: Siempre entender el código generado por LLMs y verificar su corrección.

• Cuestionar Métodos Establecidos: Utilizar mediciones manuales para comprobar los resultados.

• Revelar el Uso de LLMs: Ser transparente sobre el uso de LLMs en los métodos de investigación.

• Compartir Prompts: Compartir prompts utiles con la comunidad para facilitar el aprendizaje colectivo.

Conclusión

Los modelos de lenguaje grandes tienen un enorme potencial para el análisis de bioimágenes, ofreciendo herramientas para la automatización, anotación y extracción de datos. Al comprender sus capacidades y limitaciones, y al adoptar buenas prácticas para su uso, los analistas de bioimágenes pueden aprovechar el poder de los LLMs para impulsar nuevos descubrimientos y perspectivas.

Recomendaciones Prácticas

• Explorar los LLMs para automatizar tareas rutinarias de análisis de imágenes.

• Experimentar con la ingeniería de prompts para optimizar el rendimiento de los LLMs.

• Contribuir a los benchmarks de código abierto para evaluar y mejorar los LLMs.

• Participar en la comunidad de GloBIAS para compartir conocimientos y experiencias.

Esta entrada de blog tiene como objetivo brindarte los conocimientos necesarios para comenzar a explorar e integrar los LLMs en tus flujos de trabajo de análisis de bioimágenes. El potencial de estos modelos es vasto, y su aplicación responsable promete abrir nuevas fronteras en la investigación en ciencias de la vida.

(Nota: Esta entrada de blog ha sido escrita en un tono formal pero accesible, adecuada para profesionales del área. Incorpora puntos clave, ejemplos y recomendaciones de la presentación, e invita a seguir explorando y participando en la comunidad.)

April 2025 - French version

À la découverte de la frontière de l’IA : les modèles de langage étendus dans l’analyse d’images biologiques

Introduction

 
Le domaine de l’analyse d’images biologiques évolue rapidement, et les modèles de langage étendus (LLMs, pour Large Language Models) s’imposent comme des outils puissants pour les chercheurs et les analystes. Cet article de blog résume les points clés d’un récent séminaire GloBIAS consacré aux LLMs, en proposant une introduction adaptée aux scientifiques du vivant. La présentation a abordé les motivations, les applications et les défis liés à l’utilisation des LLMs dans l’analyse d’images biologiques, en soulignant leur potentiel à révolutionner la manière dont nous extrayons des données significatives à partir d’images biologiques.

Qu’est-ce qu’un modèle de langage étendu ?

Les LLMs sont un type de réseau neuronal pouvant être utilisé pour diverses tâches, notamment la traduction et la génération de code. Bien qu’ils n’aient pas été conçus à l’origine pour la récupération d’informations ou de connaissances, ils sont de plus en plus utilisés pour répondre à des questions et fournir des informations. Toutefois, il est important d’être conscient des pièges potentiels, comme les « hallucinations », où le modèle génère des informations incorrectes ou trompeuses.

Applications clés dans l’analyse d’images biologiques

• Génération de code : Les LLMs peuvent traduire un texte en anglais en code exécutable, comme Python, facilitant ainsi l’automatisation des tâches d’analyse d’images.

• Modification d’images : Les LLMs peuvent modifier des images de microscopie à partir d’instructions textuelles, par exemple pour flouter ou améliorer la qualité d’une image.

• Description d’images : Les LLMs peuvent décrire le contenu d’une image, ce qui est utile pour l’annotation automatique.
  
  

Aborder la question de la reproductibilité

Une critique fréquente des LLMs concerne leur reproductibilité limitée, car ils peuvent produire des sorties différentes à partir des mêmes entrées. Cependant, l’utilisation des LLMs pour la génération de code permet de pallier ce problème. Une fois exécuté, le code généré produira systématiquement le même résultat.

Fonctionnement des LLMs : une vue simplifiée

Les architectures traditionnelles de traitement d’images reposent généralement sur des réseaux encodeur-décodeur, qui transforment une image d’entrée en une image de sortie. Les LLMs, basés sur l’architecture Transformer, se distinguent par l’incorporation de trois éléments : une entrée, une sortie et une sortie décalée. Cela leur permet de traduire entre différentes formes de données, telles que des images et du texte.

Techniques pratiques pour optimiser les LLMs

• Ingénierie des prompts : Concevoir des instructions spécifiques pour orienter le LLM vers le résultat souhaité.

• Génération augmentée par récupération (RAG) : Améliorer la précision des LLMs en les intégrant à une base de connaissances spécifique au domaine.

• Appels de fonctions : Utiliser les LLMs pour identifier et paramétrer des fonctions permettant d’exécuter des tâches précises.

• Ajustement fin (Fine-tuning) : Personnaliser un LLM pré-entraîné avec des données spécifiques au domaine afin d’en améliorer les performances.
  
  

Utilisation responsable des LLMs dans la recherche

• Comprendre le code : Toujours comprendre le code généré par un LLM et en vérifier l’exactitude.

• Remettre en question les méthodes établies : Utiliser des mesures manuelles pour vérifier les résultats.

• Divulguer l’usage des LLMs : Être transparent quant à l’utilisation des LLMs dans vos méthodes de recherche.

• Partager les prompts : Partager des prompts efficaces avec la communauté pour encourager l’apprentissage collectif.

Conclusion

Les modèles de langage étendus représentent une avancée considérable pour l’analyse d’images biologiques, en offrant des outils pour l’automatisation, l’annotation et l’extraction de données. En comprenant leurs capacités et leurs limites, et en adoptant les meilleures pratiques d’utilisation, les analystes d’images biologiques peuvent exploiter la puissance des LLMs pour stimuler de nouvelles découvertes et perspectives.

Recommandations concrètes

• Explorez les LLMs pour automatiser les tâches courantes d’analyse d’images.

• Expérimentez l’ingénierie des prompts pour optimiser les performances des LLMs.

• Contribuez à des référentiels open-source pour évaluer et améliorer les LLMs.

• Engagez-vous avec la communauté GloBIAS pour partager vos connaissances et expériences.

Cet article a pour but de vous fournir les connaissances nécessaires pour commencer à explorer et à intégrer les LLMs dans vos flux de travail en analyse d’images biologiques. Le potentiel de ces modèles est vaste, et leur application responsable promet d’ouvrir de nouvelles frontières dans la recherche en sciences de la vie.

(Remarque : cet article a été rédigé dans un style formel mais accessible, convenant aux professionnels du domaine. Il intègre des points clés, des exemples et des recommandations issus de la présentation, et encourage l’exploration continue et l’engagement communautaire.)

April 2025 - Chinese version

探索人工智能前沿：大型语言模型在生物图像分析中的应用

引言

 随著生物图像分析领域的迅速发展，正在崛起的大型语言模型（LLMs）成为科学研究的强大工具。本文总结了近期 GloBIAS 研讨会中关于大型语言模型  的重要观点，做为科研究人员的入门指南。本次演讲涵盖了使用大型语言模型 进行生物图像分析的动机、应用和挑战，并特别指出它们在提取生物图像中有意义数据资料的变革潜力。

什么是大型语言模型？

 大型语言模型是一种神经网络，可用于多种任务，包括翻译和代码生成。虽然最初的设计并非应用于知识或信息检索，但它们如今被广泛用于回答问题和提供观点。不过，使用时应警惕潜在问题，例如“虚构”（hallucinations）现象，即模型生成了错误或误导性的信息。

大型语言模型在生物图像分析中的关键应用

• 代码生成：大型语言模型可将英文文本翻译成可执行代码（如 Python），从而更容易实现图像分析任务的自动化。

• 图像修改：大型语言模型可根据文本指令修改显微图像，例如模糊处理或提升图像质量。

• 图像描述：大型语言模型能够描述图像内容，这在自动图像标注中非常有用。

如何处理大型语言模型的低再现性问题

 人们对大型语言模型的常见批评是其低再现性，即对相同输入可能产生不同输出。然而，将大型语言模型应用于代码生成可以缓解此问题。生成的代码在执行后会稳定地产生相同的结果。

大型语言模型的工作原理简述

 传统的图像处理架构通常采用编码器-解码器网络，将输入图像转换为输出图像。而大型语言模型基于转换器( Transformer) 架构，采用了三个要素：输入、输出和偏移输出。这使得它们能够在图像和文本等不同数据形式之间进行转换。

优化大型语言模型的实用技巧

• 提示工程（Prompt Engineering）：设计具体提示，以引导大型语言模型输出期望结果。

• 检索增强生成（RAG）：将大型语言模型与特定领域知识库结合，提高其准确性。

• 函数调用(Function calling)：利用大型语言模型识别并参数化可执行特定任务的函数。

• 微调（Fine-Tuning）：通过特定领域的数据对预训练的大型语言模型进行定制化，以提升其表现。

如何在科研中合理地使用大型语言模型

• 理解代码：理解由大型语言模型生成的代码，并验证其正确性。

• 检验生成的方法：使用手动测量来校验结果。

• 揭露大型语言模型的使用情况：在研究方法中坦白地说明使用了大型语言模型。

• 分享提示词：与社群共享有效提示词，促进集体学习。

潜在的视觉或多媒体呈现方式

• 大型语言模型生成的代码示范

• 使用大型语言模型处理的显微图像

• 绘製转换器(Transformer) 架构示意图

• 基准测试界面的快速萤幕截图

操作建议

• 探索使用大型语言模型 实现自动化图像分析任务。

• 通过提示工程优化大型语言模型性能。

• 参与开源基准(benchmark)项目，以评估和改进大型语言模型。

• 加入 GloBIAS 社群，分享知识与经验。

结论

 大型语言模型在生物图像分析中具有巨大潜力，能提供自动化、标注和数据提取等工具。透过理解它们的能力与限制，与练习大型语言模型，生物图像分析人员可以充分利用其力量，推动新的发现和洞察。

本博客旨在为您提供入门知识，帮助您开始在生物图像分析工作流程中探索并整合大型语言模型。这些模型的巨大潜力，将解锁生命科学研究的新前沿。

（注：本文以正式而通俗的风格撰写，适合该领域专业人士阅读，结合了演讲中的重点内容、实例和建议，并鼓励进一步探索与参与社群。）