Generalisierbare 3D-Druckfehlererkennung und -korrektur über Multi

Nature Communications Band 13, Artikelnummer: 4654 (2022) Diesen Artikel zitieren

16.000 Zugriffe

11 Zitate

189 Altmetrisch

Details zu den Metriken

Die Materialextrusion ist die am weitesten verbreitete Methode der additiven Fertigung, ihre Anwendung in Endprodukten ist jedoch aufgrund der Fehleranfälligkeit begrenzt. Menschen können Fehler erkennen, aber keine kontinuierliche Überwachung oder Korrektur in Echtzeit leisten. Bestehende automatisierte Ansätze sind nicht auf verschiedene Teile, Materialien und Drucksysteme übertragbar. Wir trainieren ein neuronales Netzwerk mit mehreren Köpfen mithilfe von Bildern, die automatisch anhand der Abweichung von den optimalen Druckparametern gekennzeichnet sind. Die Automatisierung der Datenerfassung und -beschriftung ermöglicht die Generierung eines großen und vielfältigen Extrusions-3D-Druckdatensatzes, der 1,2 Millionen Bilder von 192 verschiedenen Teilen enthält, die mit Druckparametern beschriftet sind. Das so trainierte neuronale Netzwerk ermöglicht zusammen mit einem Regelkreis die Echtzeiterkennung und schnelle Korrektur verschiedener Fehler, die für viele verschiedene 2D- und 3D-Geometrien, Materialien, Drucker, Werkzeugwege und sogar Extrusionsmethoden wirksam sind. Darüber hinaus erstellen wir Visualisierungen der Vorhersagen des Netzwerks, um Aufschluss darüber zu geben, wie es Entscheidungen trifft.

Die Materialextrusion ist aus Gründen wie den relativ geringen Kosten, der geringen Nachbearbeitung, der Kompatibilität mit vielen Materialien und der Multimaterialfähigkeit die gebräuchlichste Methode der additiven Fertigung (AM)1. Dadurch ist Extrusion AM in zahlreichen Bereichen2 vielversprechend, darunter im Gesundheitswesen3, in der Medizintechnik4, in der Luft- und Raumfahrt5 und in der Robotik6. Ein Hauptgrund dafür, dass sich viele dieser Anwendungen jedoch noch im Forschungsstadium befinden, ist, dass die AM-Extrusion anfällig für verschiedene Produktionsfehler ist. Diese reichen von kleinen Maßungenauigkeiten und mechanischen Schwächen bis hin zu Totalausfällen beim Bau1,7,8,9,10. Um Fehlern entgegenzuwirken, muss ein Facharbeiter typischerweise den AM-Prozess beobachten, einen Fehler erkennen, den Druck stoppen, das Teil entfernen und dann die Parameter für ein neues Teil entsprechend anpassen. Wenn ein neues Material oder ein neuer Drucker verwendet wird, nimmt dieser Vorgang mehr Zeit in Anspruch, da der Mitarbeiter Erfahrungen mit der neuen Einrichtung sammelt11,12. Selbst dann können Fehler übersehen werden, insbesondere wenn der Mitarbeiter nicht jeden Prozess kontinuierlich beobachtet. Dies kann schwierig sein, wenn mehrere Drucker gleichzeitig in Betrieb sind oder, wie die COVID-19-Pandemie gezeigt hat, das Personal aufgrund sozialer Distanzierung oder Krankheit begrenzt ist. Dies kostet nicht nur Material, Energie und Zeit, sondern schränkt auch die Verwendung von AM-Teilen in Endprodukten ein, insbesondere in sicherheitskritischen Produkten wie medizinischen Geräten, und die Widerstandsfähigkeit AM-basierter Lieferketten. Diese Herausforderungen werden mit der Ausweitung der AM auf lebende und funktionale Materialien, komplexe Multimaterial-Gitterstrukturen und anspruchsvolle Umgebungen wie abgelegene Baustellen im Freien oder am menschlichen Körper immer dringlicher.

Dies hat vielfältige und interessante Forschungen zur Überwachung der Extrusion AM13 motiviert. Stromsensoren14,15, Trägheitssensoren16,17 und akustische Sensoren18,19,20,21,22 wurden häufig zur Überwachung der Extrusions-AM verwendet. Obwohl diese Ansätze zur zuverlässigen Erkennung bestimmter, typischerweise großflächiger Fehlermodalitäten beim Drucken führen, bleiben viele Fehler unerkennbar. Auch in den meisten 3D-Druckern werden diese Methoden noch nicht eingesetzt, da die Kosten für Sensoren und Verstärker für solche Ansätze oft hoch sind. Darüber hinaus sind sie nicht datenreich genug, um Online-Feedback und -Korrektur zu ermöglichen.

Kamerabasierte Ansätze sind potenziell vielseitig und datenreich. Einzelne am Druckerrahmen montierte Kameras mit Blick von oben oder von der Seite wurden in Verbindung mit herkömmlichen Computer-Vision- und Bildverarbeitungstechniken verwendet, um verschiedene AM-Fehler bei der Extrusion zu erkennen23,24,25,26,27,28,29, 30,31,32. Dieser Ansatz hat den Vorteil, dass er relativ kostengünstig und einfacher einzurichten ist und dass die Kamera oft jederzeit einen Großteil des gefertigten Teils sehen kann. Dadurch können viele Fehler, wie z. B. Verformungen der Füllung oder das Vorhandensein von Materialklecksen, erkannt werden. Allerdings kann die Verwendung einer einzigen Kamera die Menge der gewonnenen Informationen über den Herstellungsprozess und damit die Bandbreite der identifizierten Fehler und Fehlerarten einschränken. Ansätze mit mehreren Kameras sind teurer und komplexer in der Implementierung, aber potenziell leistungsfähiger. Mehrere Ansichten des Teils oder die Hinzufügung von Infrarotkameras können dazu führen, dass Mängel, wie z. B. unvollständige Drucke, sichtbar werden, die von einem einzigen Standpunkt aus möglicherweise nicht erkennbar sind33,34,35. 3D-Rekonstruktionen gedruckter Teile, die beispielsweise durch 3D-Strukturlichtscans mit mehreren Kameras und digitale Bildkorrelation erstellt wurden, können mit dem digitalen 3D-Teilemodell verglichen werden, um Maßungenauigkeiten zu erkennen35,36,37,38,39,40,41,42 ,43. Allerdings sind diese anspruchsvolleren Systeme oft teuer, empfindlich gegenüber Lichtverhältnissen und Eigenschaften der Teileoberfläche, aufgrund der Scanzeit und Berechnung langsamer, erfordern eine präzise Positionierung und Kalibrierung und sind auf die Erkennung von Fehlern beschränkt, die groß genug sind, um die vorgegebenen Auflösungsgrenzen des Scanners zu erkennen.

Bei rahmenmontierten Ansätzen mit einer oder mehreren Kameras wie oben ist es außerdem häufig schwierig, das Material zu sehen, während es aus der Düse aufgetragen wird, da der Druckkopf die Sicht beeinträchtigen kann. Typischerweise müssen Drucke angehalten werden, um die Abbildung einer Schicht zu ermöglichen, was eine Korrektur in Echtzeit verhindert, die Produktionsraten verlangsamt und selbst zu Fehlern aufgrund inkonsistenter Extrusion führen kann. Dies hat dazu geführt, dass an der Düse oder dem Extruder einzelne oder mehrere Kameras montiert werden müssen, die den laufenden Druckprozess überwachen können und ein Echtzeit-Feedback zur Korrektur von Über- oder Unterextrusion während des Druckens44,45 sowie eine Schätzung der Form des extrudierten Materials ermöglicht haben aus der Düse46. Herkömmliche Computer-Vision-Ansätze sind sehr vielversprechend, um gezielt auf bestimmte Fehler in bestimmten Teilen in 3D-Drucksystemen zu zielen, für die sie kalibriert wurden. Es ist jedoch eine große Herausforderung, Algorithmen zur Merkmalsextraktion manuell zu erstellen, die sich auf verschiedene Teile, Drucker, Materialien und Konfigurationen übertragen lassen. Daher zeigen die meisten Beispiele nur eine einzige Kombination aus Drucker, Teilegeometrie, Material und Druckbedingungen, und keines zeigt die Korrektur von Fehlern in mehreren Teilen oder Setups.

Maschinelles Lernen und insbesondere Deep-Learning-Techniken haben in vielen Anwendungen, einschließlich Vision47, Spitzenleistungen erzielt, indem komplexe Darstellungen durch andere, einfachere Darstellungen ausgedrückt werden48. Dies hat zu mehreren spannenden jüngsten Demonstrationen des maschinellen Lernens bei der AM-Fehlererkennung bei der Extrusion geführt49,50,51,52,53,54,55,56. Vorhandene Arbeiten haben jedoch nur die Fehlererkennung in einem einzelnen Teil gezeigt, und daher ist die Wirksamkeit vorhandener Techniken für andere Teile, insbesondere Teile, die nicht in den Trainingsdaten enthalten sind, unbekannt. Darüber hinaus können die meisten bestehenden Ansätze nur eine einzige Fehlermodalität erkennen: schlechte Durchflussrate49, Defekte zwischen den Schichten50, Verformung der Krümmung53 und große Defekte an der oberen Oberfläche52,54. Oft erfordern bestehende Methoden auch, dass ein Objekt bereits erfolgreich gedruckt wurde, um Vergleiche für die Fehlererkennung zu ermöglichen51,54,55. Dies kann insbesondere bei kundenspezifischen Teilen eine Einschränkung darstellen. Maschinelles Lernen ist bei der Fehlererkennung am spannendsten, da es potenziell robuster und auf neue Materialien, Geometrien und Drucker übertragbar sein könnte als handgefertigte Funktionen. Das Potenzial maschineller Lernalgorithmen zur Entdeckung verallgemeinerbarer Fehlermerkmale bleibt jedoch weitgehend unerforscht.

Damit die Fehlererkennung ihr volles Potenzial bei der Reduzierung von 3D-Druckabfällen und der Verbesserung von Nachhaltigkeit, Kosten und Zuverlässigkeit entfalten kann, muss sie mit einer Fehlerkorrektur gekoppelt werden. Es wurde daran gearbeitet, einige Arten von Fehlern zwischen aufeinanderfolgenden Drucken desselben Objekts zu erkennen und zu korrigieren51,55. Allerdings sind viele Ausdrucke dieses Objekts erforderlich, um den Datensatz zu erstellen, was eine Fehlerkorrektur in diesem Objekt ermöglicht. Darüber hinaus sind diese Methoden nicht in der Lage, Korrekturen in Echtzeit durchzuführen, was bedeutet, dass bei Erkennung eines Fehlers dieser Teil nicht wiederhergestellt werden kann. In einer früheren Studie wurde die Echtzeitkorrektur und -steuerung für die Extrusion AM49 untersucht. Die Implementierung demonstriert jedoch nur die Korrektur des Durchflussdruckparameters und nur in einer Geometrie, die sowohl zum Training als auch zum Testen des Systems verwendet wird. Außerdem gibt es eine erhebliche Verzögerung zwischen Fehlererkennung und -behebung. Wie bei der Fehlererkennung ist die Leistung bestehender Fehlerkorrekturmethoden bei unsichtbaren Objekten unklar, was ihre industrielle Anwendbarkeit einschränkt.

Hier berichten wir über eine einfach einsetzbare Methode, die kostengünstige Webcams und ein einziges tiefes Faltungs-Neuronales Netzwerk mit mehreren Köpfen verwendet, um jeden extrusionsbasierten 3D-Drucker um Fehlererkennung, -korrektur und Parametererkennung für neue Materialien zu erweitern (Abb. 1). Dies wurde in dieser Arbeit durch die Entwicklung von CAXTON realisiert: dem kollaborativen autonomen Extrusionsnetzwerk, das lernende 3D-Drucker verbindet und steuert und so die Erfassung von Flottendaten und kollaboratives End-to-End-Lernen ermöglicht. Jeder Drucker im Netzwerk kann kontinuierlich drucken und Daten sammeln, unterstützt durch ein Teileentnahmesystem. Im Gegensatz zu bestehenden Deep-Learning-AM-Überwachungsarbeiten, bei denen häufig die menschliche Kennzeichnung von Fehlern zum Trainieren von Algorithmen verwendet wird, kennzeichnet CAXTON Fehler automatisch im Hinblick auf Abweichungen von optimalen Druckparametern. Einzigartig ist, dass CAXTON verschiedene Fehler nicht nur erkennen, sondern auch korrigieren kann, da es für jedes Bild weiß, wie weit die Druckparameter von ihren optimalen Werten entfernt sind. Diese autonome Generierung von Trainingsdaten ermöglicht die Erstellung größerer und vielfältigerer Datensätze, was zu einer besseren Genauigkeit und Generalisierbarkeit führt. Das endgültige System ist in der Lage, mehrere Parameter gleichzeitig und in Echtzeit zu erkennen und zu korrigieren. Das neuronale Netzwerk mit mehreren Köpfen kann das Zusammenspiel zwischen Fertigungsparametern aufgrund des einzigen gemeinsamen Merkmalsextraktions-Backbones selbst erlernen und das System sogar in die Lage versetzen, mehrere Lösungen zur Behebung desselben Fehlers zu erkennen. Im Rahmen dieser Arbeit wurde ein umfangreicher optischer In-situ-Prozessüberwachungsdatensatz für die Extrusions-AM kuratiert, der veröffentlicht wird. Es enthält über 1 Million Beispielbilder des Materialauftrags aus der Druckerdüse, beschriftet mit den jeweiligen Druckparametern von 192 Drucken unterschiedlicher 2D- und 3D-Geometrien. Das System ist hochgradig skalierbar, nutzt häufig verwendete Firmware und kann durch die Fernerweiterung weiterer Drucker für größere und vielfältigere zukünftige Datensätze erweitert werden. Obwohl das Training nur an Teilen aus extrudiertem thermoplastischem Polymilchsäure durchgeführt wurde, lassen sich diese Fähigkeiten auf bisher unbekannte Drucker, Kamerapositionen, Materialien und die direkte Extrusion von Tintenschreibern übertragen. Wir beschreiben auch mehrere Innovationen wie die Aufteilung des Werkzeugwegs und proportionale Parameteraktualisierungen, die eine Verbesserung der Korrekturgeschwindigkeiten um eine Größenordnung im Vergleich zu derzeit veröffentlichten Fehlerkorrekturarbeiten im 3D-Druck in Echtzeit ermöglichen. Dies wird durch kostengünstige Geräte ermöglicht, die lediglich eine Netzwerkverbindung, eine Standard-Webcam für Endverbraucher und einen kostengünstigen Einplatinencomputer (z. B. Raspberry Pi) erfordern. Schließlich ermöglicht die Verwendung von Aufmerksamkeitsschichten innerhalb des Netzwerks menschlichen Bedienern die Interpretation, auf welche Funktionen sich das Netzwerk konzentriert. Anschließend werden Visualisierungsmethoden eingesetzt, um Einblicke in die Art und Weise zu gewinnen, wie das trainierte neuronale Netzwerk Vorhersagen trifft, um sowohl das grundlegende Verständnis zu unterstützen als auch beim Aufbau von Vertrauen oder der Ermöglichung der Rückverfolgbarkeit zu helfen.

ein Workflow zum Sammeln verschiedener Datensätze von Extrusions-3D-Druckern mit automatischer Beschriftung von Bildern mit Druckparametern. b Flotte von acht thermoplastischen Extrusions-3D-Druckern (Creality CR-20 Pro), ausgestattet mit Kameras, die auf die Düsenspitze fokussiert sind, um die Materialablagerung zu überwachen. c Renderings generierter Werkzeugwege für eine einzelne Eingabegeometrie mit zufällig ausgewählten Schnittparametern. d Momentaufnahme der während eines Beispieldrucks gesammelten Daten, die Bilder mit unterschiedlichen Parameterkombinationen zeigen. e Design des Bettentferners und der Dockingstation unter Nutzung des vorhandenen Bewegungssystems sowie während des Betriebs aufgenommener Fotos. f Verteilungen normalisierter Parameter im gesamten von CAXTON gesammelten Datensatz mit über 1,2 Millionen Proben.

Wir haben mit Fused Deposition Modeling 3D-Druckern einen neuen 3D-Druckdatensatz erstellt, der mit Polymilchsäure (PLA) gedruckte Teile enthält und mit den zugehörigen Druckparametern für eine Vielzahl von Geometrien und Farben gekennzeichnet ist. Unsere CAXTON-Datengenerierungspipeline automatisiert den gesamten Prozess von der STL-Dateiauswahl bis zur Werkzeugwegplanung, Datenerfassung und -speicherung (Abb. 1a). Modellgeometrien werden automatisch aus dem Online-Repository Thingiverse heruntergeladen. Die Geometrien werden anschließend mit zufällig ausgewählten Einstellungen (z. B. Maßstab, Rotation, Fülldichte, Füllmuster und Wandstärke) geschnitten. Die generierten Werkzeugwege werden dann durch ein benutzerdefiniertes Python-Skript so konvertiert, dass sie maximale Bewegungen von 2,5 mm aufweisen, um übermäßig lange Bewegungen bei der Ausführung eines einzelnen Parametersatzes zu vermeiden und die Reaktionszeit der Firmware zu verkürzen. Während des Druckens werden alle 0,4 Sekunden Bilder aufgenommen. Jedes aufgenommene Bild wird mit einem Zeitstempel versehen und mit den aktuellen Druckparametern beschriftet: Ist- und Zieltemperaturen für Hotend und Bett, Durchflussrate, Quergeschwindigkeit und Z-Versatz. Diese Parameter sind genau bekannt, indem entweder Werte in Echtzeit von der Firmware abgerufen werden oder indem der Wert mit einem G-Code-Befehl festgelegt wird. Darüber hinaus werden für jedes Bild die Düsenspitzenkoordinaten auf jedem Drucker gespeichert, um während des Trainings ein automatisches Zuschneiden um den interessierenden Bereich herum zu ermöglichen. Nachdem 150 Bilder gesammelt wurden, wird für jeden Drucker eine neue Kombination von Druckparametern generiert, indem gleichmäßige Verteilungen jedes Parameters abgetastet werden. Die neuen Parameterkombinationen werden als G-Code-Befehle über das Netzwerk an jeden Drucker gesendet und anschließend aufgrund der Werkzeugwegkonvertierung mit minimaler Verzögerung ausgeführt. Bei der Ausführung werden weitere 150 beschriftete Bilder gesammelt, bevor der Parameteraktualisierungsprozess erneut durchgeführt wird. Dies setzt sich bis zum Ende des Drucks fort und führt zu Bildsätzen mit jeweils sehr unterschiedlichen Druckparametern (Abb. 1d). Dieses automatisierte Beschriftungsverfahren für jedes Bild bietet eine höhere Auflösung als die Beschriftung durch Menschen, da kein menschlicher Bediener Parameter mit der gleichen Genauigkeit kennzeichnen könnte (z. B. dass die aktuelle Durchflussrate 56 % beträgt) und kein Mensch ein Bild damit kennzeichnen könnte eine exakte Kombination mehrerer Druckparameter, da diese stark miteinander interagieren (z. B. ist die Düse zu hoch, die Durchflussrate zu niedrig und die Temperatur zu niedrig oder eine gewichtete Kombination davon).

Durch die Bemusterung suboptimaler Parameterkombinationen kommt es bei manchen Drucken zu Totalausfällen, die ab einem gewissen Punkt nur noch wenige Informationen über die zugehörigen Parameter liefern. Solche Bilder werden manuell entfernt, sodass 1.166.552 beschriftete Bilder übrig bleiben (91,7 % der ursprünglichen 1.272.273). Der verbleibende Datensatz enthält einige verrauschte Etiketten aufgrund der längeren Reaktionszeiten beim Aktualisieren von Druckparametern, wie z. B. der Durchflussrate, bevor eine merkliche Änderung im Bild auftritt. Die Reaktionszeit besteht aus einer Befehlsausführungsverzögerung und einer mechanischen Verzögerung. Die erste Verzögerung wird meist dadurch behoben, dass Bilder erst erfasst werden, nachdem eine Bestätigung des Parameteraktualisierungsbefehls vom Drucker empfangen wurde. Für die mechanische Verzögerung wurden Worst-Case-Experimente durchgeführt, um die Reaktionszeit für die Änderung jedes Parameters vom minimalen zum maximalen Wert im Datensatz zu bestimmen. Es wurde festgestellt, dass Änderungen überwiegend innerhalb von 6 Sekunden nach der Anwendung eines Updates sichtbar sind und daher 15 Bilder nach Parameteraktualisierungen entfernt werden. Damit bleiben 1.072.500 Proben übrig, bei denen das System seinen gewünschten Zustand erreicht hat. Unrealistische Parameterausreißer, die dadurch verursacht werden, dass Drucker die G-Code-Befehle nicht ordnungsgemäß ausführen, oder Störungen in Sensoren wie Thermistoren werden gefiltert, sodass 991.103 Proben übrig bleiben. Schließlich werden sehr dunkle Bilder mit einem mittleren Pixelwert aller RGB-Kanäle von weniger als 10 entfernt. Dies führt zu einem bereinigten Datensatz von 946.283 beschrifteten Bildern (74,4 % des Originals). Die aktuell kontinuierlichen Parameterwerte werden dann für jeden Parameter in drei Kategorien eingeteilt: niedrig, gut und hoch. Die Ober- und Untergrenzen für diese Behälter werden auf der Grundlage unserer AM-Erfahrung mit PLA ausgewählt. Dadurch entstehen mögliche 81 verschiedene Klassenkombinationen, die das neuronale Netzwerk vorhersagen kann (drei Kategorien für vier Parameter).

Wir nutzen die Datenerweiterung, um die Größe und Qualität unseres gefilterten Datensatzes zu erhöhen und so eine Überanpassung zu vermeiden und die Generalisierbarkeit unseres Modells zu verbessern57. Die Position und Form des abgelagerten Materials in den aufgenommenen Bildern variiert stark, abhängig von der Geometrie des zu druckenden Teils. Darüber hinaus wurde festgestellt, dass Farbe, Reflexionsgrad und Schatten je nach Kameraposition, Materialauswahl und Druckerdesign unterschiedlich waren. Um eine größere Vielfalt an Geometrien, Kamerapositionen und Materialien zu simulieren, wird jedes Bild im Datensatz einer breiten Palette von Datenerweiterungstechniken unterzogen (Abb. 2e). Zunächst wird das von der Kamera aufgenommene Vollbild zufällig um bis zu 10 Grad in beide Richtungen gedreht. Dann wird eine kleine perspektivische Transformation mit einer Wahrscheinlichkeit von 0,1 angewendet. Das Bild wird dann automatisch auf einen quadratischen Bereich mit 320 × 320 Pixel zugeschnitten, der auf die Düsenspitze fokussiert ist, wobei die während der Datenerfassung gespeicherten Düsenspitzenkoordinaten verwendet werden. Die Rotations- und Perspektivtransformationen werden vor dem Zuschneiden angewendet, um die Notwendigkeit einer Auffüllung im zugeschnittenen Bereich praktisch zu beseitigen. Anschließend wird ein zufälliger quadratischer Teil mit einer Fläche zwischen 0,9 und 1,0 des 320 × 320-Bildes zugeschnitten und auf 224 × 224 Pixel verkleinert – die Eingabegröße für das tiefe neuronale Netzwerk. Anschließend kann mit einer Wahrscheinlichkeit von 0,5 ein horizontaler Flip auf das Bild angewendet werden, gefolgt von der Anwendung eines Farbjitters von ±10 % auf Helligkeit, Kontrast, Farbton und Sättigung des Bildes. Dieser Einsatz der synthetischen Datenerweiterung ist zeit- und ressourceneffizienter als die Neupositionierung von Kameras auf Druckern und die Änderung der Umgebungslichtbedingungen während der Datensatzerfassung. Es ermöglicht auch einen kleineren Rohdatensatz mit funktionalen Erweiterungen, die zur Laufzeit während des Trainings angewendet werden, anstatt die Datensatzgröße mit mehr Stichproben zu erhöhen. Schließlich werden die Kanäle im transformierten Bild unter Verwendung des Pixelmittelwerts und der Standardabweichung jedes Kanals für alle Bilder im gefilterten Datensatz normalisiert.

a Die Multi-Head-Netzwerkarchitektur besteht aus einem einzigen gemeinsam genutzten Attention-56-Netzwerk58-Backbone, das gestapelte Aufmerksamkeitsmodule und Restblöcke enthält, gefolgt von vier separaten, vollständig verbundenen Ausgabeköpfen nach der Glättungsschicht, einer für jeden Parameter. Jeder dieser Köpfe klassifiziert seinen zugehörigen Parameter entweder als niedrig, gut oder hoch. Aufmerksamkeitsmodule bestehen aus einem Stammzweig, der Restblöcke enthält, und einem Maskenzweig, der Down- und Upsampling durchführt. b Beispiel-Aufmerksamkeitsmasken an jedem Modul für die angegebenen Eingabebilder. Jeder Modulausgang besteht aus vielen Maskenkanälen, hier wird nur ein einziges Beispiel gezeigt. Die Masken zeigen Regionen, auf die sich das Netzwerk konzentriert, beispielsweise die jüngste Extrusion, wie in der Ausgabe von Modul 2 dargestellt. c Verwirrungsmatrizen des endgültigen Netzwerks nach den drei Trainingsphasen in unserem Testdatensatz für jeden Parameter. d Diagramme der Trainings- und Validierungsgenauigkeit aus dem Training des Netzwerks über drei Seeds, geglättet mit einem exponentiellen gleitenden Durchschnitt, für drei Datensätze: einschichtig, vollständig und ausgeglichen. e Beispielhafte Datenerweiterungen, die während des Trainings verwendet werden, um das Modell besser verallgemeinerbar zu machen.

Die genaue Vorhersage der aktuellen Druckparameter im Extrusionsprozess aus einem Eingabebild wird mithilfe eines mehrköpfigen Deep-Residual-Attention-Netzwerks58 mit einem einzigen Backbone und vier Ausgabeköpfen, einer für jeden Parameter, erreicht. Beim Deep Learning ist die Single-Label-Klassifizierung weit verbreitet und erfordert nur einen einzigen Ausgabekopf, um die Eingabe als eine von N möglichen Klassen zu klassifizieren. Diese Arbeit erfordert jedoch eine Klassifizierung mit mehreren Etiketten, um die Eingabe für jede der vier Etiketten (Durchflussrate, Quergeschwindigkeit, Z-Versatz und Hotend-Temperatur) in eine von drei möglichen Klassen (niedrig, gut und hoch) zu klassifizieren. Um dies zu erreichen, werden mehrere Ausgabeköpfe mit einem gemeinsamen Backbone zur Merkmalsextraktion verwendet. Die Gewichte des gemeinsam genutzten Backbones werden während des Rückwärtsdurchlaufs im Training durch die Summe der Verluste von jedem der separaten Ausgabeköpfe aktualisiert. Dies ermöglicht es dem Backbone, seine eigene Interpretation der Beziehungen zwischen den einzelnen Parametern und der Bedeutung bestimmter Merkmale zu erlernen, die von allen Parametern gemeinsam genutzt werden. Der alternative Ansatz besteht darin, mehrere separate Netzwerke mit jeweils einem einzelnen Ausgabekopf zu verwenden und das Problem als vier separate Einzeletiketten-Klassifizierungsprobleme zu behandeln. Hierbei wird jedoch jeder Parameter isoliert betrachtet und es gelingt daher nicht, das Zusammenspiel und die Zusammenhänge zu erlernen. Darüber hinaus ist beim Training und im realen Einsatz deutlich mehr Rechenleistung erforderlich, da vier separate Netzwerke unabhängig voneinander trainiert werden müssen (im Gegensatz zu einem) und diese Netzwerke dann während des Betriebs parallel ausgeführt werden müssen.

Der Einsatz von Aufmerksamkeit im Netzwerk kann die Anzahl der Netzwerkparameter reduzieren, die zum Erreichen der gleichen Leistung für unsere Anwendung erforderlich sind, und gleichzeitig das Netzwerk robuster gegenüber verrauschten Etiketten machen. Die Aufmerksamkeitskarten können auch dabei helfen, Fehler zu untersuchen und Vorhersagen zu erklären. Das einzelne Backbone ermöglicht die gemeinsame Extraktion von Merkmalen für jeden Parameter und reduziert so die Inferenzzeit im Vergleich zu separaten Netzwerken. Darüber hinaus ermöglicht es dem einzelnen Netzwerk, das Zusammenspiel verschiedener Parameter zu modellieren. Jeder Kopf verfügt über drei Ausgabeneuronen zur Klassifizierung eines Parameters als niedrig, gut oder hoch. Mit dieser Struktur sagt das Netzwerk den Zustand der Durchflussrate, der Quergeschwindigkeit, des Z-Versatzes und der Hotend-Temperatur gleichzeitig in einem Vorwärtsdurchlauf aus einem einzelnen RGB-Eingabebild voraus (Abb. 2a). Diese Mehrkopfstruktur und die Kenntnis mehrerer Parameter können zu einer Verbesserung der Vorhersage einzelner Parameter führen. Interessanterweise wurde festgestellt, dass ein Netzwerk, das ausschließlich auf die Vorhersage der Durchflussratenklasse trainiert wurde, eine geringere Genauigkeit bei der Klassifizierung der Durchflussrate erreichte als ein Netzwerk, das mit der Kenntnis aller vier Parameter trainiert wurde. Es sind jedoch weitere Experimente erforderlich, um dieses Ergebnis zu untersuchen und zu prüfen, ob zusätzlicher Kontext zur Steigerung der Netzwerkleistung verwendet werden kann.

Das gemeinsame Netzwerk-Backbone besteht aus drei Aufmerksamkeitsmodulen und sechs Restblöcken und basiert auf dem Attention-56-Modell58. Die Aufmerksamkeitsmodule bestehen aus zwei Zweigen: der Maske und dem Rumpf. Der Stammzweig führt die Merkmalsverarbeitung eines herkömmlichen Netzwerks durch und besteht aus Restblöcken. Der Maskenzweig führt ein Downsampling gefolgt von einem Upsampling durch, um eine Aufmerksamkeitsmaske zu lernen, mit der die Ausgabemerkmale des Moduls gewichtet werden. Diese Maske kann nicht nur während des Vorwärtsdurchlaufs zur Inferenz verwendet werden, sondern auch als Maske im Rückwärtsdurchlauf während der Rückwärtsausbreitung. Dies war einer der Gründe für die Wahl dieser Netzwerkarchitektur, da davon ausgegangen wird, dass diese Maskenzweige das Netzwerk robuster gegenüber verrauschten Etiketten machen können – die unser Datensatz aufgrund von Parameteränderungen und subtilen Inkonsistenzen beim Drucken enthält. Nach diesen Blöcken wird das Netzwerk-Backbone auf eine vollständig verbundene Schicht reduziert, die mit jedem der einzelnen vier Köpfe verbunden ist. Die Köpfe müssen separate Ausgänge des Netzwerks sein. Diese Arbeit erfordert eine Klassifizierung mit mehreren Etiketten, da jede vollständige Vorhersage erfordert, dass jeder Kopf immer über eine separate Einzelvorhersage verfügt. Ein alternativer Ansatz wäre die Verwendung von vier separaten vollständigen neuronalen Netzen; Allerdings wäre dies deutlich rechen- und speicherintensiver und zudem nicht in der Lage, die Beziehungen zwischen Herstellungsparametern zu modellieren. Der in dieser Arbeit verwendete Multi-Head-Shared-Backbone-Ansatz führt dazu, dass der Backbone als Merkmalsextraktor verwendet wird, um die Dimensionalität des Eingabebilds in eine latente Raumdarstellung zu komprimieren, die aus der Summe der Verluste für jeden Herstellungsparameter gelernt wird. Man kann dann davon ausgehen, dass jeder Kopf als Abbildung von diesem latenten Raum auf die Klassifizierung der Parameterebene fungiert.

Um zu visualisieren, auf welche Merkmale sich das Netzwerk in jeder Phase konzentriert, wurden Bilder der Aufmerksamkeitskarten nach jedem Modul erstellt (Abb. 2b). Hier wird die gleiche Aufmerksamkeitsmaske aus jedem Modul auf jedes der drei Eingabebilder angewendet, wobei die nicht interessierenden Bereiche abgedunkelt werden (Hinweis: Diese Masken sind illustrative Beispiele, da jedes Modul viele verschiedene Aufmerksamkeitskarten enthält). Das Netzwerk scheint sich auf die gedruckten Bereiche in der Beispielmaskenausgabe für Aufmerksamkeitsmodul 1 zu konzentrieren und dann nur auf die letzte Extrusion für Modul 2. Modul 3 wendet das Gegenteil zum vorherigen an und konzentriert sich auf alles außer der Düsenspitze.

Es wurde festgestellt, dass die Aufteilung des Trainingsprozesses in drei separate Phasen und die Verwendung von Transferlernen am effektivsten waren. Für jede Stufe wurden drei unterschiedlich gesäte Netzwerke trainiert. In der ersten Phase wird das Netzwerk anhand eines Teildatensatzes trainiert, der nur Bilder der ersten Schichten mit 100 % Füllung enthält. Die Merkmale sind für jeden Parameter in diesen Ausdrucken besser sichtbar und durch erstes Training kann das Netzwerk mit dieser Teilmenge schneller lernen, wichtige Merkmale zu erkennen. Es wurde festgestellt, dass diese Trennung den Lernprozess beschleunigte, da Features für die einzelne Schicht besser erlernbar waren und anschließend auf den gesamten Datensatz abgestimmt werden konnten, wodurch das Netzwerk auf komplexe 3D-Geometrien generalisierbar wurde. Mit dem besten Seed wurde eine Trainingsgenauigkeit von 98,1 % und eine Validierungsgenauigkeit von 96,6 % erreicht. Anschließend wurde ein Transfer-Learning-Ansatz verwendet, um das Modell des besten Seeds anhand des vollständigen Datensatzes, der Bilder für alle 3D-Geometrien enthält, neu zu trainieren. Dies wurde dreimal durchgeführt, wobei der beste Seed eine Trainings- und Validierungsgenauigkeit von 91,1 bzw. 85,4 % erreichte. Neuronale Netze können inhärente Verzerrungen in den ihnen zur Verfügung gestellten Daten lernen; Aufgrund von Ungleichgewichten in unserem gesamten Datensatz (z. B. kann der Z-Versatz viel mehr Werte haben, die zu hoch als zu niedrig sind, weil die Düse in das Druckbett krachen würde) wurde daher das Transferlernen ein letztes Mal verwendet. Dieses Mal wurde jedoch nur die letzte vollständig verbundene Schicht zu jedem der vier Köpfe auf einem ausgewogenen Unterdatensatz trainiert, der eine gleiche Anzahl von Proben für jede der 81 möglichen Kombinationen (vier Parameter, von denen jeder niedrig oder gut sein kann) enthielt oder hoch). Die Gewichtungen im Netzwerk-Backbone für die Merkmalsextraktion wurden eingefroren. Dadurch wurde eine Trainingsgenauigkeit von 89,2 % und eine Validierung von 90,2 % erreicht. Anschließend wurde das endgültig trainierte Netzwerk auf unserem Testset getestet, wo es eine Gesamtgenauigkeit von 84,3 % erreichte. Für jeden Parameter betrugen die Klassifizierungsgenauigkeiten unseres Testsatzes: Durchflussrate 87,1 %, Quergeschwindigkeit 86,4 %, Z-Versatz 85,5 % und Hotend-Temperatur 78,3 %. Weitere Informationen zum Trainingsprozess finden Sie in der ergänzenden Abbildung S1. Angesichts des vielfältigen, mehrschichtigen Testsatzes wäre diese Aufgabe für einen erfahrenen menschlichen Bediener nicht nur eine große Herausforderung, sondern diese Genauigkeit unterschätzt auch die Wirksamkeit des Netzwerks bei der Fehlerkorrektur. Die Parameter sind voneinander abhängig und daher gibt es für viele Fehlertypen mehrere Kombinationen von Parameteränderungen, die den Fehler beheben könnten. Beispielsweise kann ein größerer Z-Versatz, bei dem die Düse weit vom Druckbett entfernt ist, leicht mit einer niedrigen Durchflussrate verwechselt werden – beides scheint wie bei einer Extrusion – und könnte durch Ändern eines der beiden Parameter korrigiert werden. Aufgrund der Bezeichnungen in den Trainingsdaten wird jedoch nur eine dieser Parameterkombinationen bei der Genauigkeitsberechnung als „richtig“ gewertet.

Um die Fähigkeit des Netzwerks zu testen, Druckfehler zu korrigieren und optimale Parameter für neue Materialien zu ermitteln, wurden erneut zufällige 3D-Modelle heruntergeladen, dieses Mal jedoch zum Testen der Korrektur. Jedes 3D-Modell wurde mit unterschiedlichen Einstellungen für Skalierung, Drehung, Fülldichte, Anzahl der Umfänge und Anzahl der festen Schichten durch zufällige Stichproben aus gleichmäßigen Verteilungen in Scheiben geschnitten. Das Füllmuster wurde zufällig aus einer vorgegebenen Liste gängiger Muster ausgewählt. Der Satz generierter Werkzeugwege wurde anschließend mithilfe eines benutzerdefinierten Skripts so konvertiert, dass er maximale Bewegungen von 1 mm aufweist, um deutlich schnellere Firmware-Reaktionszeiten für Parameteränderungen während des Druckens zu ermöglichen und gleichzeitig die Größe der Druckdateien überschaubar zu halten und Jitters zu verhindern, die dadurch entstehen, dass der Drucker nicht in der Lage ist, zu lesen und zu lesen Verarbeiten Sie die G-Code-Zeilen schnell genug.

Während des Druckvorgangs werden Bilder der Düsenspitze und der Materialablagerung mit 2,5 Hz aufgenommen und zur Schlussfolgerung an einen lokalen Server gesendet (Abb. 3a). Jedes empfangene Bild wird automatisch auf einen 320 × 320 Pixel großen Bereich zugeschnitten, der auf die Düsenspitze fokussiert ist. Der Benutzer muss die Pixelkoordinaten der Düse einmal angeben, wenn er die Kamera beim Setup montiert. Darüber hinaus möchten Benutzer möglicherweise die Größe des zugeschnittenen Bereichs je nach Kameraposition, Brennweite und Größe der Druckerdüse ändern. Die Auswahl eines geeigneten Bereichs um die Düse wirkt sich auf die Leistung des Netzwerks aus und das beste Gleichgewicht zwischen Genauigkeit und Reaktionszeit wird erreicht, wenn auf beiden Seiten der Düsenspitze ~5 Extrusionsbreiten sichtbar sind.

a Die sechs Hauptschritte in der Feedback-Pipeline ermöglichen Online-Parameteraktualisierungen anhand von Bildern des Extrusionsprozesses. b Tabelle mit θmode (Modusschwellenwert), L (Sequenzlänge), Imin (Interpolationsminimum), A+ (der größte Anstieg), A− (größter Rückgang) für jeden Druckparameter zusammen mit den möglichen Ebenen der Aktualisierungsbeträge. c Einfaches Beispiel für eine Einzelschichtgeometrie, das die Aufteilung des Werkzeugwegs in gleiche kleinere Segmente veranschaulicht. Im Feedback-Prozess werden Längen von 1 mm verwendet, um eine schnelle Korrektur zu ermöglichen und die Reaktionszeit zu verkürzen.

Das zugeschnittene Bild wird dann auf 224 × 224 Pixel verkleinert und über die RGB-Kanäle normalisiert. Als nächstes erstellt das Klassifizierungsnetzwerk eine Vorhersage (zu hoch, zu niedrig, gut) für jeden Parameter, wenn dieses Bild als Eingabe verwendet wird. Diese vorhergesagten Parameter werden in separaten Listen mit unterschiedlichen Satzlängen L für jeden Parameter gespeichert. Wenn eine bestimmte Vorhersage so häufig gemacht wird, dass sie einen Anteil an einer vollständigen Liste ausmacht, der größer oder gleich dem Modusschwellenwert (θmode) ist, wird ein Modus gefunden und diese Vorhersage wird akzeptiert. Wenn kein Modus gefunden wird, werden keine Aktualisierungen vorgenommen und der Druckparameter wird als akzeptabel angesehen, genau wie in dem Fall, in dem die Modusvorhersage „gut“ ist. Wenn festgestellt wird, dass ein Modus „zu hoch“ oder „zu niedrig“ ist, wird der Anteil der Listenlänge, der durch den Moduswert gebildet wird, verwendet, um die Anpassung des Parameters zu skalieren und so eine proportionale Korrektur zu ermöglichen. Insbesondere wird eine eindimensionale lineare Interpolation angewendet, um den Bereich zwischen einem Parameterschwellenwert (θmode) und 1 auf ein neues Minimum (Imin) und 1 abzubilden. Der interpolierte Wert wird dann verwendet, um den maximalen Aktualisierungsbetrag (A+ für Parametererhöhungen) linear zu skalieren und A− für Abnahmen). Die spezifischen Werte von θmode, L, Imin, A+ und A− wurden iterativ durch Experimente für jeden Parameter einzeln ermittelt (Abb. 3b), um Reaktionszeit und Genauigkeit in Einklang zu bringen und ein Überschwingen zu verhindern. Die Länge der Hotend-Liste und der Modusschwellenwert sind aufgrund der langen Reaktionszeit dieses Parameters und des Sicherheitsrisikos bei Überschwingen besonders konservativ.

Sobald die endgültigen Aktualisierungsbeträge für die Druckparameter berechnet wurden, werden sie an einen Raspberry Pi gesendet, der an jeden Drucker angeschlossen ist. Der Pi ruft den aktuellen Wert für jeden Parameter ab und erstellt einen G-Code-Befehl zum Aktualisieren des Parameters. Der Pi sucht dann über die serielle Schnittstelle nach einer Bestätigung der Befehlsausführung durch die Firmware. Sobald alle Befehle von der Firmware ausgeführt wurden, sendet der Pi eine Bestätigung an den Server. Wenn der Server eine Bestätigung erhält, dass alle Aktualisierungen ausgeführt wurden, beginnt er erneut, Vorhersagen zu treffen. Das Warten auf diese Bestätigung aller Parameteraktualisierungen ist entscheidend, um Schwankungen zu stoppen, die durch Über- und Unterschreitung des Ziels verursacht werden.

Um die Korrekturfähigkeit des Systems zu demonstrieren, wurde eine Experimentierpipeline erstellt, um eine eingegebene STL-Datei zu nehmen, sie mit guten Druckeinstellungen aufzuteilen, einen G-Code-Befehl einzufügen, um einen Parameter auf einen schlechten Wert zu ändern, und dann den generierten G-Code zu analysieren und aufzuteilen Teilen Sie das Modell in 1-mm-Abschnitte (Abb. 4). Es wurde das gleiche Druckermodell wie im Training verwendet, jedoch mit einer veränderten Kameraposition (leicht gedreht und verschoben in Bezug auf die Düse), einer neuen 0,4-mm-Düse mit anderer Außengeometrie und einem bisher unbekannten Einzelschicht-Druckmuster. Um die Reaktionen zwischen den Parametern zu vergleichen, wurde jeder mit derselben PLA-Filamentspule gedruckt (Abb. 4a). Diese einschichtigen Drucke werden als klar interpretierbarer Maßstab verwendet, um jeden einzelnen Parameter und Parameterkombinationen über verschiedene Drucker, Setups und Materialien hinweg zu testen. Die Fehler bei Durchflussrate, Z-Versatz und Hotend-Temperaturparametern sind deutlich sichtbar, während der Fehler bei der Quergeschwindigkeit als dunklere Linie an der Stelle zu erkennen ist, an der die Druckgeschwindigkeit verlangsamt wurde. Die Verzögerung zwischen dem Senden des Befehls (schwarze Pfeile in Abb. 4a) und der Parameteraktualisierung ist sichtbar und zeigt, wie wichtig es ist, auf Bestätigungen vom Drucker zu warten. In jedem Fall ist das Netzwerk in Kombination mit Modus-Schwellenwerten schnell in der Lage, gute Druckparameter wiederherzustellen (siehe Zusatzfilm S1).

a Schnelle Korrektur eines manuell induzierten fehlerhaften Einzelparameters mithilfe des trainierten neuronalen Mehrkopfnetzwerks. Gedruckt mit PLA-Rohstoff auf einem bekannten Drucker mit einer unsichtbaren 0,4-mm-Düse, die in den Trainingsdaten nicht verwendet wird. b Gleichzeitige Online-Optimierung mehrerer falscher Parameter an unsichtbaren thermoplastischen Polymeren. Zeigt, dass die Kontrollpipeline gegenüber einer Vielzahl von Ausgangsmaterialien mit unterschiedlichen Materialeigenschaften, Farben und Anfangsbedingungen robust ist. c Ähnlich wie ein menschlicher Bediener nutzt das System selbst erlernte Parameterbeziehungen für korrigierende Vorhersagen. Ein hoher Z-Versatz kann sowohl durch Reduzieren des Z-Versatzes als auch durch Erhöhen der Materialflussrate behoben werden. d Korrektur mehrerer falscher Druckparameter, die während des Druckens eingeführt wurden. Beide Türme wurden unter den gleichen Bedingungen gedruckt, mit dem einzigen Unterschied, dass sie korrigiert wurden. e Korrektur von Drucken, die mit falschen Parameterkombinationen gestartet wurden. Alle sechs Schraubenschlüssel wurden unter den gleichen Bedingungen gedruckt.

Obwohl nur mit extrudiertem thermoplastischem PLA trainiert wird, lässt sich die Kontrollpipeline auf verschiedene Materialien, Farben und Aufbauten verallgemeinern. Abbildung 4b zeigt die Online-Korrektur für vier verschiedene Thermoplaste, die mit unterschiedlichen Kombinationen zufällig mehrerer falscher Druckparameter auf ähnlich interpretierbaren Einzelschicht-Benchmarks wie Abb. 4a gedruckt wurden. In jedem Fall aktualisiert das Netzwerk erfolgreich mehrere Parameter, was zu einer guten Extrusion führt (siehe Zusatzfilm S2). Die mit TPU und Kohlefaser gefüllten Proben haben aufgrund schlechter Ausgangsbedingungen keinen aufgedruckten Umfang. Dies ist nicht nur nützlich für die automatisierte Parametererkennung und hilft Benutzern dabei, ihre Drucker auf neue Materialien abzustimmen, indem sie schnell die besten Parameterkombinationen erhalten, sondern es zeigt auch, dass Steuerungssysteme die Produktivität verbessern können, indem sie fehlerhafte Drucke speichern, bei denen die ursprünglichen Werkzeugwege nicht eingehalten werden Bett.

Da alle Parametervorhersagen in einer Netzwerkstruktur vorliegen, lernt das trainierte Modell die Wechselwirkungen zwischen mehreren Parametern und kann wie ein menschlicher Bediener kreative Lösungen für falsche Parameter anbieten. Wir haben ein Muster mit dem Regelkreis-Setup gedruckt, ohne jedoch Online-Korrekturen vorzunehmen. Diese Probe enthielt einen Bereich mit einem hohen Z-Versatz. Ein hoher Z-Versatz führt zu getrennten Pfaden des extrudierten Materials – das gleiche Ergebnis kann bei einer niedrigen Durchflussrate auftreten. Abbildung 4c zeigt, dass das Netzwerk bestimmt, dass eine Erhöhung der Durchflussrate bei gleichzeitiger Verringerung von Z zu einer guten Extrusion führt. Da das trainierte Modell mehrere Wege zur Lösung desselben Problems finden kann, kann es robuster gegenüber falschen Vorhersagen für einen einzelnen Parameter sein und schnelleres Feedback ermöglichen, indem Aktualisierungen über mehrere Parameter hinweg kombiniert werden. Die Vorhersagediagramme zeigen auch die Geschwindigkeit, mit der das Netzwerk erkennt, dass die Parameter jetzt gut sind. Dies ist wichtig, um sicherzustellen, dass das Steuerungssystem bei Online-Korrekturen nicht überschießt.

Abbildung 4d wendet die Steuerpipeline unter Verwendung desselben Druckermodells wie im Training (Creality CR-20 Pro) auf eine unsichtbare Turmgeometrie an, um zu zeigen, dass unsere Methodik in einer Produktionsumgebung für vollständige 3D-Geometrien verwendet werden kann. In der Mitte des Druckvorgangs wurden mehrere zufällig falsche Druckparameter eingeführt, insbesondere eine sehr hohe Durchflussrate, Quergeschwindigkeit und Hotend-Temperatur sowie ein niedriger Z-Versatz. Der Turm, der ohne Korrektur gedruckt wurde, schlug dramatisch fehl, wohingegen der Turm, der mit den gleichen Bedingungen und aktivierter Korrektur gedruckt wurde, erfolgreich abgeschlossen wurde. Abbildung 4e zeigt sechs Kopien derselben 3D-Schraubenschlüsselgeometrie, die jeweils mit der gleichen Kombination falscher Druckparameter gestartet wurden: niedrige Durchflussrate und Quergeschwindigkeit, hoher Z-Versatz und gute Hotend-Temperatur. Von den sechs Schraubenschlüsseln wurden drei ohne Korrektur gedruckt, was zu einem Totalausfall aufgrund einer Ablösung vom Druckbett und einer sehr schlechten Oberflächenbeschaffenheit bei den verbleibenden zwei führte. Diese Fehler sind auf die schlechte Anfangsschicht zurückzuführen, die durch die suboptimalen Druckparameter verursacht wird. Die drei mit Korrektur gedruckten Exemplare wurden alle erfolgreich fertiggestellt und weisen die gleiche verbesserte Oberflächenbeschaffenheit auf, insbesondere auf der ersten Schicht. Es ist zu beachten, dass diese korrigierten Ausdrucke nicht mit einem perfekt gedruckten Teil übereinstimmen. Unvollkommenheiten bleiben bestehen, bis alle notwendigen Korrekturen vorgenommen wurden, und daher wird ein Teil der Anfangsschicht mit schlechten Ausgangsparametern gedruckt. Obwohl selten, kann eine Korrektur auch dann vorgenommen werden, wenn sie nicht erforderlich ist, was zu einer Unvollkommenheit führt.

Um die Allgemeingültigkeit des Systems zu demonstrieren, wurden eine andere Kamera und ein anderes Objektiv an einer neuen Stelle an einem unsichtbaren Drucker (Lulzbot Taz 6) mit einer anders geformten Düse und Düsenbreite angebracht – 0,6 mm statt 0,4 mm, wie im Training verwendet (Abb. 5a). . Dieser Drucker verwendet ein Extrusionssystem, das Filamente mit einem Durchmesser von 2,85 mm anstelle von Filamenten mit einem Durchmesser von 1,75 mm verwendet, wie sie in den Trainingsdruckern verwendet werden. Abbildung 5b zeigt das gleiche Steuerungssystem, angewendet auf eine unsichtbare Läufergeometrie. Zu Beginn des Drucks, insbesondere während Schicht 7, wurden zufällig falsche Druckparameter eingeführt. Zu diesen falschen Parametern gehörten eine niedrige Quergeschwindigkeit und eine hohe Durchflussrate, Z-Versatz und Hotend-Temperatur. Der fehlerhafte Läufer, der ohne Korrektur gedruckt wurde, schlug fehl, während der Läufer, der mit genau denselben Bedingungen und aktivierter Kontrollpipeline gedruckt wurde, erfolgreich und mit mehr Details fertiggestellt wurde. Einschichtige Benchmark-Drucke wurden erstellt, wobei jeder einzelne fehlerhafte Parameter mit weißem PLA eingeführt wurde (Abb. 5c). Diese zeigen, dass das mehrköpfige neuronale Netzwerk und die Steuerungspipeline verallgemeinert werden, um Parameter über Fused Deposition Modeling-Drucker hinweg zu korrigieren. Die Größe des schlecht gedruckten Bereichs in diesen Proben scheint größer zu sein als in den für Abb. 4a gedruckten, da die größere Düse des Lulzbot Taz six zu einer weitaus größeren Extrusionsbreite für jede Linie führt. Die Anzahl der Zeilen ist bei den Druckern ungefähr gleich.

a Fotos eines getesteten unsichtbaren 3D-Druckers mit einer Düse mit 0,6 mm Innendurchmesser (Lulzbot Taz 6). Im Vergleich zur Erfassung der Trainingsdaten wurden ein anderes Kameramodell (Raspberry Pi Camera v1) und ein anderes Objektiv sowie eine neue Kameraposition im Hinblick auf die Materialablagerung verwendet. b Eine Läufer-Schachfigur mit eingeführten fehlerhaften Parametern und demselben fehlerhaften Druck mit aktivierter Korrektur. Beide wurden mit 2,85 mm PLA auf dem bisher unbekannten Lulzbot Taz 6-Setup gedruckt. c Schnelle Korrektur eines manuell induzierten fehlerhaften Einzelparameters mithilfe des trainierten neuronalen Mehrkopfnetzwerks. Gedruckt mit weißem PLA-Rohstoff auf einem unsichtbaren Drucker mit einer unsichtbaren 0,6-mm-Düse, die in den Trainingsdaten nicht verwendet wird. d Spritzenbasierter Drucker für direktes Tintenschreiben (DIW), modifiziert von einem Creality Ender 3 Pro. Es wurden ein unbekanntes Kameramodell (Raspberry Pi Camera v1) und ein unbekanntes Objektiv zusammen mit einer anderen Kameraposition verwendet. e Automatische Korrektur und Parametererkennung für PDMS mit 0,21-mm-Düse (27-Gauge) sowie Mayonnaise und Ketchup mit 0,84-mm-Düse (18-Gauge).

Die Steuerpipeline wurde weiter in einem direkten Tintenschreibaufbau getestet, bei dem ein Schrittmotor mit einer Gewindestange zum Bewegen eines Kolbens in einer Spritze verwendet wurde (Abb. 5d). Dabei wurden ein anderes Kameramodell und ein anderes Objektiv verwendet, das in einem anderen Winkel und Abstand von der Düse montiert war, sowie ein transparentes und reflektierendes Glasdruckbett anstelle des schwarzen Betts, das bei den Thermoplasttests verwendet wurde. Mit diesem Aufbau wurden PDMS, Mayonnaise und Ketchup mit verschiedenen Düsen gedruckt – 0,21 mm für das PDMS und 0,84 mm für die Gewürze (Abb. 5e). Alle Proben wurden bei Raumtemperatur ohne Hotend-Korrektur gedruckt. Beim PDMS-Druck korrigierte das Netzwerk nur die Durchflussrate. Abbildung 5e zeigt, dass das Netzwerk bei PDMS lernt, die Durchflussrate zu erhöhen, indem es den auf die Spritze ausgeübten Druck erhöht. Sobald der erforderliche Druck erreicht ist, reduziert das Netzwerk die Durchflussrate, um die Extrusion zu stoppen. Allerdings kommt es bei langen Drucken manchmal zu Überschreitungen der Durchflussrate aufgrund eines starken Druckaufbaus in der Spritze, insbesondere wenn das Netzwerk die Durchflussrate nicht schnell genug reduziert. Der Ausgleich dieses Drucks ist bei diesem speziellen Aufbau eine besondere Herausforderung, da das viskose Material und der kleine Düsendurchmesser beim Drucken hohe Drücke erfordern, wodurch eine Zeitlücke zwischen der Kolbenbewegung und der Extrusion entsteht. Beim Drucken von weniger viskosen Materialien sind dieses Überschwingen und die Druckverzögerung weniger problematisch, insbesondere bei größeren Düsendurchmessern. Bei den Mayonnaise- und Ketchup-Beispielen hat das Netzwerk hauptsächlich die Durchflussrate und den Z-Versatz angepasst. Wir fanden heraus, dass beide Gewürze dazu neigten, zu stark zu extrudieren, und das Netzwerk reduzierte häufig die Fließgeschwindigkeit und verringerte für die erste Schicht den Z-Versatz. Beim Drucken mehrschichtiger Strukturen neigte das Netzwerk dazu, den Z-Versatz an jeder Schicht zu erhöhen und die Durchflussrate zu verringern, um zu verhindern, dass die Düsenspitze in die vorherige Schicht eintaucht.

Insbesondere beim Einsatz tiefer neuronaler Netze in der Produktion für sicherheitskritische Anwendungen ist es hilfreich, nach möglichen Erklärungen dafür zu suchen, warum Modelle bestimmte Entscheidungen treffen. Zwei beliebte Visualisierungsmethoden, die Benutzern helfen können, ein gewisses Verständnis dafür zu gewinnen, warum neuronale Netze ihre Vorhersagen treffen, sind die geführte Backpropagation59 und die Gradient-Weighted Class Activation Mapping (GradCAM)60. Ersteres hilft dabei, feinere Auflösungsmerkmale anzuzeigen, die das Netzwerk bei der Erstellung von Vorhersagen gelernt hat, und letzteres bietet eine gröbere Lokalisierung, die wichtige Bereiche im Bild zeigt (dies kann als Post-hoc-Aufmerksamkeit betrachtet werden). Für beide Ansätze wird die Zielkategorie (niedrig, gut und hoch) für jeden der vier Parameter angegeben, um zu bestimmen, welche Merkmale oder Regionen für diese Kategorie besonders wichtig sind. Darüber hinaus wurde eine Methode entwickelt, um die Techniken für jeden Parameter separat im gesamten Netzwerk anzuwenden, sodass wir bis zu 12 maßgeschneiderte Visualisierungen für ein Eingabebild erstellen können (die drei Klassen für jeden der vier Parameter, z. B. niedrige Durchflussrate, hohe Quergeschwindigkeit, guter Z-Versatz).

Mehrere Kombinationen fehlerhafter Parameter können entweder zu getrennten Pfaden des extrudierten Materials (bei Überextrusion) oder zu überlappenden Materialpfaden (bei Überextrusion) führen. Mithilfe der geführten Rückausbreitung wurde versucht, festzustellen, ob das Netzwerk ähnliche Merkmale in allen Parametern verwendet, um diese physikalischen Extrusionseigenschaften zu erkennen. Repräsentative Beispielbilder für Unter-, Gut- und Überextrusion, die durch unterschiedliche Parameter verursacht werden, sind in Abb. 6a dargestellt. Es scheint, dass Parameter für dieselbe Extrusionsklassifizierung ähnliche Merkmale aufweisen: getrennte Pfade für Unterextrusion, ein Umriss des aktuellen Pfads für gute Extrusion und um die Düse herum für Überextrusion.

a Unter-, gute oder Überextrusion kann durch mehrere falsche Parameter erreicht werden. Geführte Backpropagation59 wird angewendet, um wichtige Merkmale im zur Klassifizierung verwendeten Bild hervorzuheben. Repräsentative, nicht sichtbare Beispielbilder deuten darauf hin, dass das Netzwerk ähnliche Merkmale in allen Parametern verwendet, um dieselbe physische Eigenschaft zu identifizieren. b Gradientengewichtetes Klassenaktivierungs-Mapping (GradCAM)60 zeigt, dass die frühen Phasen des Netzwerks über Parameter und unsichtbare Eingaben hinweg zwischen dem abgelagerten Material und dem Druckbett unterscheiden. c GradCAM, das auf die letzten Phasen angewendet wird, zeigt, dass sich das Netzwerk als Ganzes über Parameter und unsichtbare Eingaben hinweg auf die Düsenspitze konzentriert. d Die bei der geführten Backpropagation und GradCAM in verschiedenen Phasen gezeigten Trends gelten auch für verschiedene bisher unbekannte Extrusionsmethoden, wie etwa das direkte Schreiben mit Tinte.

GradCAM wurde für jeden Parameter einzeln auf jede Schicht des gemeinsamen Netzwerk-Backbones angewendet. Wir zeigen in Abb. 6b, c die Visualisierungen der ersten und letzten Schicht (Restblöcke 1 bzw. 6). Frühere Stufen im Netzwerk scheinen große Strukturmerkmale im Bild zu erkennen, etwa die Unterscheidung zwischen dem aufgetragenen Material und dem Druckbett. Auf der letzten Ebene konzentriert sich das Netzwerk unabhängig von Parameter oder Zielklasse überwiegend auf die jüngste Extrusion aus der Düse. Dies ist erwünscht, denn für schnelle Reaktionszeiten und Korrekturen möchten wir, dass das Netzwerk für seine Vorhersage Informationen aus dem zuletzt hinterlegten Material verwendet. In Abb. 6d sind Beispielvisualisierungen Bilder von direkten Tintenschreibtests dargestellt. Diese Bilder zeigen, dass das trainierte Netzwerk in jeder Phase der Vorhersage ähnliche Funktionen verwenden kann wie für thermoplastische Vorhersagen. Weitere Visualisierungen finden Sie in der ergänzenden Abbildung S2 und im ergänzenden Film S3.

Wir zeigen, dass das Training eines neuronalen Mehrkopfnetzwerks mithilfe von Bildern, die hinsichtlich der Abweichung von optimalen Druckparametern gekennzeichnet sind, eine robuste und verallgemeinerbare Echtzeit-Extrusions-AM-Fehlererkennung und schnelle Korrektur ermöglicht. Die Automatisierung sowohl der Datenerfassung als auch der Beschriftung ermöglicht die Generierung eines bildbasierten Trainingsdatensatzes, der ausreichend groß und vielfältig ist, um eine Fehlererkennung und -korrektur zu ermöglichen, die sich auf realistische 2D- und 3D-Geometrien, Materialien, Drucker, Werkzeugwege und sogar Extrusionsmethoden übertragen lässt. Das tiefe neuronale Mehrkopfnetzwerk war in der Lage, die vier wichtigsten Druckparameter gleichzeitig mit hoher Genauigkeit vorherzusagen: Durchflussrate, Quergeschwindigkeit, Z-Versatz und Hotend-Temperatur aus Bildern der Düse während des Druckens. Es wurde festgestellt, dass dieser zusätzliche Kontext und die Kenntnis mehrerer Parameter sogar zu einer Verbesserung der Vorhersage einzelner Parameter führen können – allerdings sind weitere Untersuchungen zur Untermauerung dieser Feststellung erforderlich. Wie ein Mensch war das System in der Lage, auf kreative Weise mehrere Lösungen für einen Fehler vorzuschlagen, sogar neue Parameterkombinationen zu entdecken und zu lernen, wie man neue Materialien druckt. Im Gegensatz zum Menschen arbeitete das System jedoch kontinuierlich und nahm sofort Korrekturen vor. Neben diesem Netzwerk präsentieren wir zahlreiche Fortschritte in der Rückkopplungsregelschleife mit neuen Ergänzungen wie proportionale Parameteraktualisierungen, Werkzeugwegaufteilung und optimierte Vorhersageschwellenwerte, die zusammen eine Verbesserung der Korrekturgeschwindigkeit und Reaktionszeit um eine Größenordnung im Vergleich zu früheren Arbeiten bewirken.

Diese Arbeit verbessert zwar die Möglichkeiten des AM-Feedbacks durch die allgemeine Steuerung von mehr Parametern mit schnelleren Reaktionszeiten erheblich, senkt aber auch die Kosten und die Komplexität bestehender Ansätze. Durch die Verwendung von handelsüblichen Kameras, kleinen Einplatinencomputern (z. B. Raspberry Pi) und Netzwerkfunktionen kann das System problemlos zu neuen und vorhandenen Druckern hinzugefügt werden. Das System lässt sich erweitern und in gängige Software- und Firmware-Pakete einbinden, was bedeutet, dass bestehende Benutzerabläufe nur minimal beeinträchtigt werden. Darüber hinaus ermöglicht die vollständig integrierte Netzwerkanbindung, dass jeder hinzugefügte Drucker die verfügbaren Trainingsdaten erhöht und das System auch in abgelegeneren Umgebungen eingesetzt werden kann, in denen nur eine Internetverbindung erforderlich ist.

Es gibt Raum für Verbesserungen in der Methodik. Beispielsweise könnte das Testen des Netzwerks auf einer breiteren Palette von Druckern und Materialien und das Hinzufügen der gesammelten Daten zum Trainingsdatensatz das System generalisierbarer und robuster machen. Mehr Daten für niedrige Z-Versatzwerte können ebenfalls von Vorteil sein, da kleine Wertunterschiede große Auswirkungen auf die Druckqualität haben können. Außerdem gibt es einen kleineren Bereich von Werten, die niedrige Z-Offsets gegenüber hohen Werten annehmen können, bevor sie das Bett erreichen. Dies führt zu einer Verzerrung im Datensatz, da mehr Werte in der hohen Klassifizierung vorhanden sind. Darüber hinaus glauben wir, dass die kleinen Bewegungen im Z-Versatz die Hauptschwäche des aktuellen Datensatzes sein könnten und dass eine verbesserte Fokussierung, Auflösung und Positionierung der Kamera die nächste Iteration großer AM-Datensätze erheblich verbessern würde. Es ist auch wichtig, die Rolle hervorzuheben, die Voreingenommenheit bei der Leistung des trainierten Modells angesichts des bereitgestellten Datensatzes spielen kann. Zukünftige Arbeiten würden durch die Verwendung eines noch größeren und ausgewogeneren Datensatzes mit einer gleichen Anzahl von Stichproben auf detaillierteren Klassifizierungsebenen verbessert. Beispielsweise kann es derzeit im Datensatz bestimmte Kombinationen von Parametern geben, die nur während eines bestimmten Drucks oder mit einer einzelnen Filamentfarbe erscheinen, und daher hat das Netzwerk diese falschen Merkmale als Zuordnungen gelernt. Obwohl 3D-Modelle, Slicing-Einstellungen und Parameterwerte zufällig ausgewählt wurden, gibt es immer noch einige Verzerrungen, einschließlich der angegebenen Bereiche, zusätzlicher Slicing-Einstellungen und der Auswahl des Ausgangsmaterials.

Die Wirksamkeit unserer Methodik kann weiter verbessert werden, indem die vielen Variablen, die während der Online-Korrektur-Feedback-Pipeline verwendet werden, zusammen mit der Abtastrate und der Teilungslänge des Werkzeugwegs optimiert werden. Umfangreichere Tests mit einer breiteren und tieferen Suche nach Werten können zu einer besseren Leistung führen. Bessere Werte für diese Korrekturvariablen würden dazu beitragen, die Wahrscheinlichkeit von Korrekturschwankungen während des Feedbacks zu verringern, die wir beim Testen festgestellt haben, indem wir die Vorhersagen gegenüber Listen verbessern oder die Reaktionszeit verkürzen. Parameterschwankungen können auftreten, wenn das Netzwerk einen zuvor fehlerhaften Bereich immer noch erkennen kann und seine Korrektur überschreitet oder wenn das neuronale Netzwerk eine Reihe falscher Vorhersagen trifft.

Darüber hinaus sind wir uns darüber im Klaren, dass dieser Ansatz zwar dazu beiträgt, viele häufig auftretende extrusionsbasierte Druckfehler zu beheben, viele aber immer noch bestehen bleiben. Mechanische Fehler am Drucker, die durch übersprungene Schritte, Durchrutschen des Bandes oder externe Störungen verursacht werden, bleiben ungelöst und die Hinzufügung einer Regelung für Positionierungsfehler würde die Anzahl der abgedeckten Fehlermodalitäten erhöhen. Elektrische Probleme, die durch fehlerhafte Sensoren oder leistungsschwache Netzteile verursacht werden, sind in manchen Fällen zwar erkennbar, können aber nicht selbstständig behoben werden. Darüber hinaus werden große Fehler wie Risse, Verformungen und Betthaftungsprobleme, die zur Ablösung von Teilen führen, nicht vollständig behoben. Während die präzise Echtzeitsteuerung der Druckparameter dazu beitragen kann, die Wahrscheinlichkeit des Auftretens dieser Fehler zu verringern, ist sie aufgrund des lokalisierten Überwachungsansatzes nicht in der Lage, viele von ihnen nach ihrer Entstehung zu erkennen oder zu beheben. Die Kombination dieser lokalen Bildgebung mit einem globalen Kamerasystem kann zu erheblichen Verbesserungen bei der Erkennung weiterer Fehler führen und könnte eine Verbindung zwischen lokalen Extrusionsproblemen und Fehlern im globalen Maßstab herstellen.

Die auf Gradienten basierenden Salienzkarten, die wir verwendet haben, um zu untersuchen, wie das Netzwerk seine Entscheidungen trifft, legen nahe, dass das Netzwerk lernt, sich bei der Erstellung von Vorhersagen auf die jüngste Extrusion zu konzentrieren, was eine schnelle Reaktion auf Fehler unterstützt. Zusammen mit der Fähigkeit des Netzwerks, verschiedene Parameter über verschiedene Geometrien, Materialien und Aufbauten hinweg genau vorherzusagen, lässt dies darauf schließen, dass das Netzwerk visuelle Merkmale identifiziert, die für Extrusionsprozesse universell sind, wie beispielsweise die Form des Extrudats. Die in diesem Artikel entwickelte Methodik ist weitgehend unabhängig von den Sensoren und dem Herstellungsprozess, auf die sie angewendet wird. Dies weist auf eine Reihe von Bereichen für zukünftige Untersuchungen hin. Zum Beispiel bei der Integration neuer Infrarot- oder anderer Sensoren in das System oder bei der Anwendung auf weitere anspruchsvolle Herstellungsprozesse61,62. Die Anwendung auf Metall-AM-Methoden ist angesichts der Komplexität dieser Prozesse und der Notwendigkeit einer Qualitätssicherung besonders spannend63. Optische Techniken sind die bisher am häufigsten verwendeten Methoden in der Metall-AM zur Überwachung von Merkmalen wie der Pulverbettoberfläche und dem Schmelzbad64,65. Diese wären für die Verwendung mit unserer Methodik geeignet und könnten insbesondere für die additive Fertigung von Metallen von Vorteil sein, mit denen möglicherweise schwierig zu arbeiten ist66. Dies könnte durch eine Feinabstimmung des Modells auf bestimmte Setups mit Transferlernen auf kleinen, spezialisierten Datensätzen (mit gleichmäßig guter Beleuchtung) unterstützt werden, um die Leistung in bekannten Umgebungen zu steigern.

Zur Datenerfassung wurde ein Netzwerk aus acht FDM-3D-Druckern eingesetzt. Die Wahl fiel auf die Creality CR-20 Pro-Drucker aufgrund ihrer geringen Kosten, des vorinstallierten Bootloaders und der mitgelieferten Z-Sonde. Die Firmware für jeden Drucker wurde auf Marlin 1.1.9 geflasht, um sicherzustellen, dass der Schutz vor thermischem Durchgehen aktiviert ist. Jeder Drucker war dann mit einem Raspberry Pi 4 Model B ausgestattet, der als Netzwerk-Gateway für das serielle Senden/Empfangen von Daten zum/vom Drucker fungierte. Auf dem Pi läuft eine Raspbian-basierte Linux-Distribution und ein OctoPrint-Server mit einem speziell entwickelten Plugin. Zum Aufnehmen von Schnappschüssen wurde eine kostengünstige Consumer-USB-Webcam (Logitech C270) an den Pi angeschlossen. Die Kamera wurde mit einem einzigen 3D-gedruckten Teil gegenüber der Düsenspitze montiert. Diese Komponenten können problemlos und kostengünstig in neue und bestehende Drucker eingebaut werden; Unterstützung der Kaliberierbarkeit und Einsatzfähigkeit.

Der für das direkte Tintenschreiben verwendete Drucker war ein modifizierter Creality Ender 3 Pro. Der Extruderaufbau wurde im eigenen Haus entworfen und gebaut und nutzte eine von einem Schrittmotor angetriebene Spritze mit einer Luer-Lock-Düse. Der Drucker ist mit einem Raspberry Pi 4-Modell, einer Z-Sonde und einer Raspberry Pi-Kamera v1 mit Zoomobjektiv ausgestattet. Die Firmware ist eine konfigurierte Version von Marlin 2.0. Für weitere Experimente wurde ein Lulzbot Taz 6 mit auf Marlin 1.1.9 geflashter Firmware verwendet. Die Standarddüse wurde gegen eine E3D-Düse mit 0,6 mm Innendurchmesser ausgetauscht.

STL-Dateien wurden mithilfe eines Python-Skripts aus dem Thingiverse 3D-Modell-Repository heruntergeladen. Dieses Tool ermöglichte die einfache Suche nach Modellen im Repository nach mehreren Möglichkeiten, z. B. nach Schlüsselwort, Beliebtheit, Zeit, Ersteller und Lizenz. Mit diesem Tool wurden beliebte Dateien (um die Wahrscheinlichkeit zu erhöhen, dass sie gedruckt werden konnten) mit entsprechenden Lizenzen pseudozufällig ausgewählt und heruntergeladen. Darüber hinaus wurden einige der standardmäßigen 3D-Druck-Benchmark-Dateien manuell zu diesem STL-Satz hinzugefügt.

Um Teile in Scheiben zu schneiden, um unterschiedliche Werkzeugwege zu erzeugen, wurden STLs zufällig gedreht (der Winkel wurde aus einer gleichmäßigen Verteilung im Bereich von 0° bis 360° entnommen) und skaliert, bevor sie auf der Bauplatte zentriert wurden (der Skalierungsfaktor wurde aus einer gleichmäßigen Verteilung im Bereich von 0,8 bis 2 entnommen). Bei einigen bereits großen Modellen wurde der Skalierungsfaktor gekürzt, um die Druckzeit zu verkürzen. Dann wurde die Anzahl der festen Ober- und Unterschichten zufällig aus einer gleichmäßigen Verteilung im Bereich von 2 bis 4 zusammen mit dem Füllmuster, der Fülldichte (0 % bis 40 %) und der Anzahl der äußeren Umfangswände (2 bis 4) ausgewählt. Die folgenden Füllmuster wurden verwendet: geradlinig, Gitter, Dreiecke, Sterne, kubisch, Linie, konzentrisch, Wabe, 3D-Wabe, Kreisel, Hilbert-Kurve, archimedische Akkorde und Oktagramm-Spirale. Die Zeilen in der G-Code-Ausgabe des Slicers wurden anschließend in kleinere Segmente mit einer maximalen Bewegungslänge von 2,5 mm zerhackt, um die Antwortzeiten der Firmware zu reduzieren. Für die Online-Korrekturdemonstrationen wurde stattdessen eine maximale Bewegungslänge von 1 mm verwendet, um die Firmware weiter zu reduzieren Reaktionszeit.

Während des Druckens werden Bilder mit einer Auflösung von 1280 × 720 Pixeln von der der Düse zugewandten Kamera und einer Abtastrate von 2,5 Hz erfasst. Jedes Bild ist mit den tatsächlichen und angestrebten Hotend- und Betttemperaturen zu diesem Zeitpunkt sowie der aktuellen relativen Durchflussrate und Quergeschwindigkeit des Druckers (beide Prozentsätze) sowie dem Z-Versatz (in mm) beschriftet. Nachdem 150 dieser beschrifteten Bilder gesammelt und gespeichert wurden (ca. 1 Minute Druckzeit), werden neue Werte für Durchflussrate, Quergeschwindigkeit, Z-Versatz und Hotend-Zieltemperatur zufällig aus gleichmäßigen Verteilungen der folgenden jeweiligen Durchflussratenbereiche entnommen: 20 bis 200 %, Quergeschwindigkeit: 20 bis 200 %, Z-Versatz: −0,08 bis 0,32 mm und Hotend: 180 bis 230 °C. Es wurde festgestellt, dass dem Trainingssatz einige zusätzliche Flussraten auf höheren Ebenen hinzugefügt werden mussten, da sie so weit außerhalb der Verteilung lagen, dass die trainierten Modelle die Klassifizierung falsch vorhersagen würden. Für die anderen Parameter war dies nicht erforderlich. Nach der Probenahme werden die neuen Werte an den Drucker gesendet. Der Drucker beginnt mit der Aufnahme weiterer 150 Bilder für diese neue Parameterkombination. Dieser Prozess kann parallel auf allen acht von uns verwendeten Druckern erfolgen, von denen jeder eine andere Farbe des Ausgangsmaterials verwendet, was dazu beiträgt, den großen Parameterraum abzudecken.

Die Auswahl zufälliger Parameterwerte wurde der systematischen Parameterauswahl vorgezogen, um unterschiedliche Umgebungskontexte in den aufgenommenen Bildern bereitzustellen. Insbesondere durch die Wahl eines zufälligen Ansatzes kann der äußere Bereich des Bildes Extrusionen für eine deutlich andere vorherige Parameterkombination enthalten, und dies kann dabei helfen, das Netzwerk zu trainieren, lokale Merkmale rund um die Düsenspitze zu verwenden. Ein systematischer Ansatz kann stattdessen Muster in die Parameterebenen für zuvor hinterlegtes Material einführen, die vom Netzwerk gelernt werden können, wodurch die Lokalität der für Vorhersagen verwendeten Daten verringert und eine Schwachstelle beim Online-Druck unter unsichtbaren Bedingungen entsteht, bei denen der umgebende Kontext nicht systematisch ist und ist möglicherweise nicht mehr im Vertrieb.

Um die Notwendigkeit menschlicher Eingriffe in den Druckprozess zu reduzieren und ein kontinuierliches Drucken zu unterstützen, wurde eine neue und einfache Methode zum Entfernen fertiger Drucke entwickelt. Zahlreiche Methoden wurden bereits implementiert, um Teile nach Abschluss automatisch zu entfernen67,68; Frühere Implementierungen erfordern jedoch entweder umfangreiche Hardwaremodifikationen, sind kostspielig oder können nur eine relativ begrenzte Anzahl von Teilen entfernen. Unser Bettentfernungssystem erfordert keine zusätzliche Elektronik, Motoren oder komplexe mechanische Teile. Die vorgeschlagene Lösung ist auf jedem Extrusionsdrucker nachrüstbar und besteht im Wesentlichen aus Druckteilen, die mit dem jeweiligen Drucker hergestellt werden können. Der bereits bewegliche Druckkopf bewegt sich und dockt an einen Schaber an der Rückseite der Bauplattform an. Anschließend werden der Druckkopf und der Schaber mithilfe der eingebauten Motoren des Druckers über die Bauoberfläche bewegt und das gedruckte Objekt entfernt. Nach dem Entfernen bringt der Druckkopf den Schaber in seine Ausgangsposition zurück und wird abgedockt (siehe Zusatzfilm S4). Um sicherzustellen, dass der Schaber immer in der gleichen Position bleibt, ist am Druckbett ein Schaber-Dock mit Magneten angebracht, der den Schaber an Ort und Stelle hält, bis das nächste Objekt entfernt werden muss. Weitere Details zu diesem System finden Sie in der ergänzenden Abbildung S3 und der ergänzenden Anmerkung 1 in den ergänzenden Informationen sowie in einem GitHub-Repository, das die modifizierbaren CAD-STEP-Dateien, STL-Dateien zum Drucken und Beispiel-G-Code-Skripte zum Entfernen von Teilen enthält ( https://github.com/cam-cambridge/creality-part-remover).

Um das Netzwerk zu trainieren, ermitteln wir den Kreuzentropieverlust an jedem der Köpfe und summieren diese Verluste dann vor der Rückausbreitung. Dies führt dazu, dass das gemeinsame Backbone des Netzwerks aktualisiert wird, um den Verlust für jeden Kopf auszugleichen, wobei die vollständig mit jedem Kopf verbundenen Schichten nur durch den Verlust dieses Kopfes aktualisiert werden. Die anfängliche Lernrate wurde in jeder der drei Trainingsphasen ausgewählt, indem ein Wertebereich durchsucht und eine Lernrate mit einem starken Rückgang des Verlusts ausgewählt wurde69. Die Lernraten für die einzelnen Stufen sind in den Zusatzinformationen ersichtlich. Die Auswahl der richtigen Lernrate war von entscheidender Bedeutung – eine hohe Lernrate führte zu schlechten Aufmerksamkeitskarten, wohingegen zu niedrige Lernraten länger zum Trainieren brauchten oder in frühen lokalen Minima stecken blieben. Während des Trainings wurde ein AdamW-Optimierer70,71 mit einem Planer zur Reduzierung der Plateau-Lernrate verwendet, um die Lernrate um den Faktor 10 zu senken, wenn 3 Epochen hintereinander den Verlust nicht um mehr als 1 % verbesserten. Diagramme zur Lernrate während des Trainings finden Sie in den Zusatzinformationen. Es wurde eine Trainings-, Validierungs- und Testaufteilung von 0,7, 0,2 bzw. 0,1 mit einer Chargengröße von 32 verwendet. Die drei Trainingsphasen wurden für 50, 65 bzw. 10 Epochen trainiert. Jede Stufe wurde dreimal mit drei verschiedenen Samen trainiert. Während des Transferlernens wurde der beste Samen aus der vorherigen Stufe als Basis für das weitere Training ausgewählt.

Um die Bedeutung dieses mehrstufigen Trainings und der Nutzung von Aufmerksamkeit zu bestimmen, wurden vier verschiedene ResNets47 mit derselben Konfiguration trainiert, außer mit nur einem einzigen Startwert und einer einzigen Stufe für den gesamten Datensatz. Die Testgenauigkeiten sind in Tabelle 1 zusammen mit der Genauigkeit unseres ausgewählten Aufmerksamkeitsnetzwerks zu sehen, das mithilfe der drei Stufen trainiert wurde. Es wurde festgestellt, dass bei größeren Modellen mit diesen Ergänzungen tatsächlich die Testgenauigkeit abnimmt. Die Anwendung eines weiteren Vortrainings für jedes Modell auf andere Datensätze würde wahrscheinlich die Genauigkeit auf breiter Front verbessern.

Die Verwendung mehrerer Parameter in einem einzelnen Multi-Head-Netzwerk zur Bereitstellung zusätzlichen Kontexts kann zu einer verbesserten Leistung gegenüber dem Training einzelner Parameter in separaten Netzwerken führen. Nach 50 Trainingsepochen erreichte ein ResNet18-Modell mit einer Einzelkopfausgabe zur Vorhersage der Durchflussrate eine Genauigkeit von 77,5 %. Das gleiche Modell mit mehreren Köpfen (einer für jeden der vier Parameter) erreichte nach 50 Trainingsepochen eine endgültige Genauigkeit von 82,1 % bei der Vorhersage der Durchflussrate.

Die endgültigen Modelle wurden im Gleitkommaformat halber Genauigkeit (FP16) auf zwei Nvidia Quadro RTX 5000-GPUs mit einer i9-9900K-CPU (acht Kerne und 16 Threads) und 64 GB RAM trainiert. Dieses Setup wurde auch für die Online-Korrektur verwendet. Einige Prototyping-Arbeiten fanden an einem HPC-GPU-Cluster statt, der mit Nvidia Tesla P100-GPUs ausgestattet war. Neuronale Netze wurden mit PyTorch v1.7.1 (https://github.com/pytorch/pytorch), Torchvision v0.8.2 (https://github.com/pytorch/vision), Tensorboard v2.4.1 (https://github.com/pytorch/pytorch) entwickelt. github.com/tensorflow/tensorboard). Für die Datenanalyse wurden Python v3.6.9 (https://www.python.org/), NumPy v1.19.5 (https://github.com/numpy/numpy), Pandas v1.1.5 (https://github.com) verwendet /pandas-dev/pandas), SciPy v1.5.4 (https://www.scipy.org/), Seaborn v0.11.1 (https://github.com/mwaskom/seaborn), Matplotlib v3.3.3 (https: //github.com/matplotlib/matplotlib), Jupyter v1.0.0 (https://jupyter.org/), JupyterLab v.2.2.9 (https://github.com/jupyterlab/jupyterlab) und Pillow v8.1.0 (https://github.com/python-pillow/Pillow). Datenerfassungs- und Parameterkorrekturserver wurden mit Flask v1.1.1 (https://github.com/pallets/flask), Flask–SocketIO v5.1.0 (https://github.com/miguelgrinberg/Flask–SocketIO) und OctoPrint entwickelt v1.6.1 (https://octoprint.org/), Marlin 1.1.9 (https://marlinfw.org/). Für das Schneiden und die Druckvorbereitung wurden PrusaSlicer v2.3.3 (https://github.com/prusa3d/PrusaSlicer) und Simplify3D v4.1.2 (https://www.simplify3d.com/) verwendet.

Die in dieser Studie generierten und zum Trainieren des Modells verwendeten beschrifteten Bilddaten wurden im Datenrepository der Universität Cambridge (https://doi.org/10.17863/CAM.84082) hinterlegt. Quelldaten für grafische Darstellungen werden in diesem Dokument bereitgestellt. Quelldaten werden mit diesem Dokument bereitgestellt.

Der zur Generierung der Ergebnisse in der Arbeit verwendete Code ist in einem GitHub-Repository verfügbar (https://github.com/cam-cambridge/caxton). Weitere Details zum Bettentferner finden Sie auch in einem GitHub-Repository (https://github.com/cam-cambridge/creality-part-remover).

Ngo, TD, Kashani, A., Imbalzano, G., Nguyen, KTQ & Hui, D. Additive Fertigung (3D-Druck): Ein Überblick über Materialien, Methoden, Anwendungen und Herausforderungen. Kompositionen. Teil B Eng. 143, 172–196 (2018).

Artikel CAS Google Scholar

MacDonald, E. & Wicker, R. Multiprozess-3D-Druck zur Erhöhung der Komponentenfunktionalität. Wissenschaft 353, aaf2093 (2016).

Placone, JK & Engler, AJ Jüngste Fortschritte im extrusionsbasierten 3D-Druck für biomedizinische Anwendungen. Adv. Gesundheitc. Mater. 7, 1701161 (2018).

Artikel CAS Google Scholar

Haghiashtiani, G. et al. 3D-gedruckte patientenspezifische Aortenwurzelmodelle mit internen Sensoren für minimalinvasive Anwendungen. Wissenschaft. Adv. 6, 4641–4669 (2020).

Artikel ADS CAS Google Scholar

Najmon, JC, Raeisi, S. & Tovar, A. in der additiven Fertigung für die Luft- und Raumfahrtindustrie (Hrsg. Froes, F. & Boyer, R.) Kap. 2 (Elsevier, 2019).

Lopez-Valdeolivas, M., Liu, D., Broer, DJ & Sanchez-Somolinos, C. 4D-gedruckte Aktuatoren mit Soft-Roboter-Funktionen. Makromol. Schnelle Kommuni. 39, 3–9 (2018).

Artikel CAS Google Scholar

Searle, B. & Starkey, D. Eine Untersuchung der Auswirkung einer Änderung des Schichtrekonstruktionsintervalls der Computertomographie auf die räumliche Replikationsgenauigkeit dreidimensionaler gedruckter anatomischer Modelle, die durch Fusionsablagerungsmodellierung erstellt wurden. J. Med. Strahlen. Wissenschaft. 67, 43–53 (2020).

Artikel PubMed PubMed Central Google Scholar

Song, R. & Telenko, C. Materialverschwendung kommerzieller FDM-Drucker unter realen Bedingungen. In Proc 27. jährliches internationales Solid Freeform Fabrication Symposium 1217–1229 (University of Texas at Austin, Austin, Texas, 2016).

Colosimo, BM, Huang, Q., Dasgupta, T. & Tsung, F. Chancen und Herausforderungen der Qualitätstechnik für die additive Fertigung. J. Qual. Technol. 50, 233–252 (2018).

Artikel Google Scholar

Baş, H., Elevli, S. & Yapıcı, F. Fehlerbaumanalyse für dreidimensionale Drucker vom Typ Fused Filament Fabrication. J. Scheitern. Anal. Vorher. 19, 1389–1400 (2019).

Artikel Google Scholar

Medellin-Castillo, HI & Zaragoza-Siqueiros, J. Design- und Fertigungsstrategien für die Schmelzabscheidungsmodellierung in der additiven Fertigung: eine Übersicht. Kinn. J. Mech. Ing. 32, 53 (2019).

Artikel CAS Google Scholar

Mohamed, OA, Masood, SH & Bhowmik, JL Optimierung der Parameter des Fused Deposition Modeling-Prozesses: ein Überblick über aktuelle Forschung und Zukunftsaussichten. Adv. Hersteller 3, 42–53 (2015).

Artikel CAS Google Scholar

Fu, Y., Downey, A., Yuan, L., Pratt, A. & Balogun, Y. In-situ-Überwachung für den Herstellungsprozess von Schmelzfilamenten: eine Übersicht. Zusatz. Hersteller 38, 101749 (2021).

Google Scholar

Tlegenov, Y., Lu, WF & Hong, GS Ein dynamisches Modell für die strombasierte Düsenzustandsüberwachung bei der Modellierung von Schmelzablagerungen. Prog. Zusatz. Hersteller 4, 211–223 (2019).

Artikel Google Scholar

Kim, C. et al. Eine Studie zur Ermittlung des Materialablagerungsstatus in der Fused-Deposition-Modellierungstechnologie. Im Jahr 2015 IEEE International Conference on Advanced Intelligent Mechatronics (AIM) 779–783 (IEEE, 2015).

Guo, J., Wu, J., Sun, Z., Long, J. & Zhang, S. Fehlerdiagnose von Delta-3D-Druckern mithilfe einer Transfer-Support-Vektor-Maschine mit Lagesignalen. IEEE Access 7, 40359–40368 (2019).

Artikel Google Scholar

Zhang, S. et al. Deep Hybrid State Network mit Funktionsverstärkung zur intelligenten Fehlerdiagnose von Delta-3D-Druckern. IEEE Trans. Ind. Informieren. 16, 779–789 (2020).

Artikel Google Scholar

Rao, PK, Roberson, D., Liu, JP & Kong, ZJ Sensorbasierte Online-Prozessfehlererkennung in der additiven Fertigung. ASME 2015 Int. Hersteller Wissenschaft. Ing. Konf. 2, 1–13 (2015).

Google Scholar

Tlegenov, Y., Hong, GS & Lu, WF Düsenzustandsüberwachung im 3D-Druck. Roboter. Berechnen. Integr. Hersteller 54, 45–55 (2018).

Artikel Google Scholar

Wu, H., Wang, Y. & Yu, Z. In-situ-Überwachung des FDM-Maschinenzustands mittels akustischer Emission. Int. J. Adv. Hersteller Technol. 84, 1483–1495 (2015).

Google Scholar

Wu, H., Yu, Z. & Wang, Y. Echtzeit-FDM-Maschinenzustandsüberwachung und -diagnose basierend auf akustischer Emission und verstecktem Semi-Markov-Modell. Int. J. Adv. Hersteller Technol. 90, 2027–2036 (2017).

Artikel Google Scholar

Liao, J. et al. Vorläufige Studie zur Fehlerdiagnose und zum intelligenten Lernen von 3D-Druckern mit Fused Deposition Modeling (FDM). Im Jahr 2019 14. IEEE-Konferenz für Industrieelektronik und -anwendungen (ICIEA) 2098–2102 (IEEE, 2019).

Baumann, F. & Roller, D. Visionbasierte Fehlererkennung für 3D-Druckprozesse. MATEC Web Conf. 59, 3–9 (2016).

Artikel Google Scholar

He, K., Zhang, Q. & Hong, Y. Auf Profilüberwachung basierende Qualitätskontrollmethode für den Fused Deposition Modeling-Prozess. J. Intell. Hersteller 30, 947–958 (2019).

Artikel Google Scholar

Huang, T., Wang, S., Yang, S. & Dai, W. Statistische Prozessüberwachung in einem bestimmten Zeitraum für die Bilddaten von Fused-Deposition-Modeling-Teilen mit konsistenten Schichten. J. Intell. Hersteller 32, 2181–2196 (2021).

Artikel Google Scholar

Petsiuk, AL & Pearce, JM Open-Source-Computer-Vision-basierte, schichtweise 3D-Druckanalyse. Zusatz. Hersteller 36, 101473 (2020).

Google Scholar

Tian, Int. J. Adv. Hersteller Technol. 119, 3077–3090 (2022).

Artikel Google Scholar

Friedrich, L. & Begley, M. In-situ-Charakterisierung des Direkttintenschreibens mit niedriger Viskosität: Stabilität, Benetzung und Rotationsflüsse. J. Colloid Interface Sci. 529, 599–609 (2018).

Artikel ADS CAS PubMed Google Scholar

Wasserfall, F., Ahlers, D. & Hendrich, N. Optische In-situ-Verifizierung von 3D-gedruckten elektronischen Schaltkreisen. Im Jahr 2019 IEEE 15th International Conference on Automation Science and Engineering (CASE) 1302–1307 (IEEE, 2019).

Zhao, X., Lian, Q., He, Z. & Zhang, S. Regionsbasierte Online-Fehlererkennung beim 3D-Druck mittels Streifenprojektion. Mess. Wissenschaft. Technol. 31, 035011 (2020).

Artikel ADS CAS Google Scholar

Fastowicz, J. & Okarma, K. Schnelle Qualitätsbewertung von 3D-gedruckten Oberflächen basierend auf struktureller Ähnlichkeit von Bildregionen. Im Jahr 2018 International Interdisciplinary PhD Workshop (IIPhDW) 401–406 (IEEE, 2018).

Okarma, K. & Fastowicz, J. Qualitätsbewertung von 3D-Drucken ohne Referenz basierend auf der GLCM-Analyse. Im Jahr 2016 21. Internationale Konferenz zu Methoden und Modellen in Automatisierung und Robotik (MMAR) 788–793 (IEEE, 2016).

Straub, J. Erste Arbeiten zur Charakterisierung der additiven Fertigung (3D-Druck) mittels Software-Bildanalyse. Maschinen 3, 55–71 (2015).

Artikel Google Scholar

Straub, J. Ein kombiniertes System für die Cybersicherheit im 3D-Druck. in Dimensional Optical Metrology and Inspection for Practical Applications VI (Hrsg. Harding, KG & Zhang, S.) (SPIE, 2017).

Cunha, FG, Santos, TG & Xavier, J. In-situ-Überwachung der additiven Fertigung mithilfe digitaler Bildkorrelation: eine Übersicht. Materialien 14, 1511 (2021).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Charalampous, P., Kostavelis, I., Kopsacheilis, C. & Tzovaras, D. Visionbasierte Echtzeitüberwachung von additiven Extrusionsfertigungsprozessen zur automatischen Erkennung von Fertigungsfehlern. Int. J. Adv. Hersteller Technol. 115, 3859–3872 (2021).

Artikel Google Scholar

Holzmond, O. & Li, X. In-situ-Echtzeit-Fehlererkennung von 3D-gedruckten Teilen. Zusatz. Hersteller 17, 135–142 (2017).

Google Scholar

Fastowicz, J., Grudziński, M., Tecław, M. & Okarma, K. Objektive 3D-gedruckte Oberflächenqualitätsbewertung basierend auf der Entropie von Tiefenkarten. Entropy 21, 97 (2019).

Artikel ADS CAS PubMed Central Google Scholar

Preissler, M., Zhang, C., Rosenberger, M. & Notni, G. Ansatz zur Prozesskontrolle in der additiven Fertigung durch schichtweise Analyse mit dreidimensionalen Punktwolkeninformationen. Im Jahr 2018 Digital Image Computing: Techniques and Applications (DICTA) 1–6 (IEEE, 2018).

Preissler, M., Zhang, C., Rosenberger, M. & Notni, G. Plattform für 3D-Inline-Prozesssteuerung in der additiven Fertigung. In Optical Measurement Systems for Industrial Inspection X (Hrsg. Lehmann, P., Osten, W. & Albertazzi Gonçalves, A.) (SPIE, 2017).

Nuchitprasitchai, S., Roggemann, M. & Pearce, J. Dreihundertsechzig Grad Echtzeitüberwachung des 3D-Drucks mithilfe einer Computeranalyse von zwei Kameraansichten. J. Manufaktur Mater. Verfahren. 1, 2 (2017).

Google Scholar

Nuchitprasitchai, S., Roggemann, M. & Pearce, JM Faktoren, die die optische Echtzeitüberwachung des 3D-Drucks mit geschmolzenen Filamenten beeinflussen. Prog. Zusatz. Hersteller 2, 133–149 (2017).

Artikel Google Scholar

Preissler, M., Zhang, C. & Notni, G. Ansatz zur optischen innervolumetrischen dreidimensionalen Datenerfassung. J. Phys. Konf. Ser. 1065, 032005 (2018).

Artikel Google Scholar

Liu, C., Law, ACC, Roberson, D. & Kong, Z. (James) Bildanalysebasierte Qualitätskontrolle mit geschlossenem Regelkreis für die additive Fertigung mit Schmelzfilamentherstellung. J. Manufaktur Syst. 51, 75–86 (2019).

Artikel Google Scholar

Greeff, GP & Schilling, M. Regelung des Schlupfes während des Filamenttransports bei der Extrusion geschmolzenen Materials. Zusatz. Hersteller 14, 31–38 (2017).

Google Scholar

Kutzer, MD, DeVries, LD & Blas, CD Teileüberwachung und Qualitätsbewertung der konformen additiven Fertigung mittels Bildrekonstruktion. In Band 5B: 42. Mechanisms and Robotics Conference (American Society of Mechanical Engineers, 2018).

He, K., Zhang, X., Ren, S. & Sun, J. Deep Residual Learning für die Bilderkennung. Im Jahr 2016 IEEE-Konferenz zu Computer Vision und Mustererkennung (CVPR) 770–778 (IEEE, 2016).

Goodfellow, I., Bengio, Y. & Courville, A. Deep Learning (MIT Press, 2016).

Jin, Z., Zhang, Z. & Gu, GX Autonome In-situ-Korrektur von Fused Deposition Modeling-Druckern mithilfe von Computer Vision und Deep Learning. Hersteller Lette. 22, 11–15 (2019).

Artikel Google Scholar

Jin, Z., Zhang, Z. & Gu, GX Automatisierte Echtzeiterkennung und Vorhersage von Zwischenschichtfehlern in additiven Fertigungsprozessen mithilfe künstlicher Intelligenz. Adv. Intel. Syst. 2, 1900130 (2020).

Artikel Google Scholar

Johnson, MV et al. Ein verallgemeinerbares Werkzeug der künstlichen Intelligenz zur Identifizierung und Korrektur selbsttragender Strukturen in additiven Fertigungsverfahren. Zusatz. Hersteller 46, 102191 (2021).

Google Scholar

Zhang, Z., Fidan, I. & Allen, M. Erkennung von Materialextrusionsfehlern im Prozess durch Deep Learning. Erfindungen 5, 25 (2020).

Artikel CAS Google Scholar

Saluja, A., Xie, J. & Fayazbakhsh, K. Ein In-Process-Warping-Erkennungssystem mit geschlossenem Regelkreis für die Herstellung von Schmelzfilamenten mithilfe von Faltungs-Neuronalen Netzen. J. Manufaktur Verfahren. 58, 407–415 (2020).

Artikel Google Scholar

Delli, U. & Chang, S. Automatisierte Prozessüberwachung im 3D-Druck durch überwachtes maschinelles Lernen. Procedia Manuf. 26, 865–870 (2018).

Artikel Google Scholar

Gardner, JM et al. Maschinen als Handwerker: Lokalisierte Parametereinstellungsoptimierung für den 3D-Druck bei der Herstellung von Schmelzfilamenten. Adv. Mater. Technol. 4, 1800653 (2019).

Artikel Google Scholar

Wang, Y. et al. Ein CNN-basiertes adaptives Oberflächenüberwachungssystem für die Modellierung von Schmelzablagerungen. IEEE/ASME Trans. Mechatron. 25, 2287–2296 (2020).

Artikel Google Scholar

Shorten, C. & Khoshgoftaar, TM Eine Umfrage zur Bilddatenerweiterung für Deep Learning. J. Big Data 6, 60 (2019).

Artikel Google Scholar

Wang, F. et al. Restaufmerksamkeitsnetzwerk zur Bildklassifizierung. Im Jahr 2017 IEEE-Konferenz zu Computer Vision und Mustererkennung (CVPR) (IEEE, 2017).

Springenberg, JT, Dosovitskiy, A., Brox, T. & Riedmiller, M. Streben nach Einfachheit: das All-Faltungsnetz. In International Conference on Learning Representations (Workshop-Track) (2015).

Selvaraju, RR et al. Grad-CAM: Visuelle Erklärungen aus tiefen Netzwerken mittels Gradienten-basierter Lokalisierung. Im Jahr 2017 IEEE International Conference on Computer Vision (ICCV) (IEEE, 2017).

Such, M., Ward, C., Hutabarat, W. & Tiwari, A. Intelligentes Verbundwerkstoff-Layup durch die Anwendung kostengünstiger Tracking- und Projektionstechnologien. Procedia CIRP 25, 122–131 (2014).

Artikel Google Scholar

Ryu, H. et al. Transparente, nachgiebige 3D-Mesostrukturen zur präzisen Bewertung der mechanischen Eigenschaften von Organoiden. Adv. Mater. 33, 2100026 (2021).

Artikel CAS Google Scholar

Grasso, M. & Colosimo, BM Prozessdefekte und In-situ-Überwachungsmethoden bei der Metallpulverbettschmelzung: eine Übersicht. Mess. Wissenschaft. Technol. 28, 044005 (2017).

Artikel ADS CAS Google Scholar

Chen, Y. et al. In-situ-Röntgenquantifizierung des Schmelzbadverhaltens während der additiven Fertigung von rostfreiem Stahl durch gezielte Energieabscheidung. Mater. Lette. 286, 129205 (2021).

Artikel CAS Google Scholar

Scime, L. & Beuth, J. Anomalieerkennung und -klassifizierung in einem additiven Laserpulverbett-Herstellungsprozess unter Verwendung eines trainierten Computer-Vision-Algorithmus. Zusatz. Hersteller 19, 114–126 (2018).

Google Scholar

Silbernagel, C. et al. Elektrischer Widerstand von reinem Kupfer, verarbeitet durch additive Laserpulverbettschmelzfertigung mittlerer Leistung für den Einsatz in elektromagnetischen Anwendungen. Zusatz. Hersteller 29, 100831 (2019).

CAS Google Scholar

Aroca, RV, Ventura, CEH, de Mello, I. & Pazelli, TFPAT Sequentielle additive Fertigung: automatische Manipulation von 3D-gedruckten Teilen. Schneller Prototyp. J. 23, 653–659 (2017).

Artikel Google Scholar

Brockmeier, Ø., Westcott, C. & Bøhn, JH Automatisiertes Be- und Entladen von FDM-Systemen. Im Solid Freeform Fabrication Symposium 679–686 (University of Texas at Austin, Austin, Texas, 1999).

Smith, LN Zyklische Lernraten für das Training neuronaler Netze. Im Jahr 2017 IEEE Winter Conference on Applications of Computer Vision (WACV) 464–472 (IEEE, 2017).

Kingma, DP & Ba, J. Adam: Eine Methode zur stochastischen Optimierung. In 3rd International Conference on Learning Representations (ICLR) (Conference Track Proceedings) (2015).

Loshchilov, I. & Hutter, F. Entkoppelte Regularisierung des Gewichtsabfalls. In der 7. Internationalen Konferenz über lernende Repräsentationen (ICLR) (2019).

Referenzen herunterladen

Diese Arbeit wurde vom Engineering and Physical Sciences Research Council, UK PhD, finanziert. Stipendium EP/N509620/1 an DAJB, Royal Society-Preis RGS/R2/192433 an SWP, Academy of Medical Sciences-Preis SBF005/1014 an SWP, Engineering and Physical Sciences Research Council-Preis EP/V062123/1 an SWP und einen Isaac Newton Trust Auszeichnung für SWP

Fakultät für Ingenieurwissenschaften, Universität Cambridge, Trumpington Street, Cambridge, CB2 1PZ, Großbritannien

Douglas AJ Brion & Sebastian W. Pattinson

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

DAJB und SWP konzipierten die Idee und gestalteten die Experimente. DAJB hat die Datenerfassungspipeline entwickelt und den Datensatz generiert. DAJB hat das Deep-Learning-Modell erstellt, trainiert und getestet. DAJB entwarf den Regelkreis und führte Experimente durch. DAJB erstellte die Modellvorhersagevisualisierungen. SWP sorgte während des Projekts für Aufsicht und Anleitung. DAJB hat den Originalentwurf verfasst und die Zahlen vorbereitet. DAJB und SWP trugen zu den Diskussionen über das Experiment bei und redigierten und überprüften das Manuskript.

Korrespondenz mit Douglas AJ Brion oder Sebastian W. Pattinson.

DAJB ist der Gründer von Matta Labs Ltd., einem Unternehmen im Bereich AM-Fehlererkennung. DAJB und SWP sind Erfinder eines von Cambridge Enterprise beim britischen Amt für geistiges Eigentum eingereichten Patents (Anmeldenummer: 2204072.9), das den Inhalt dieses Berichts abdeckt.

Nature Communications dankt Mohammad Farhan Khan und den anderen, anonymen Gutachtern für ihren Beitrag zum Peer-Review dieser Arbeit. Peer-Reviewer-Berichte sind verfügbar.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Brion, DAJ, Pattinson, SW Verallgemeinerbare Erkennung und Korrektur von 3D-Druckfehlern über neuronale Mehrkopfnetze. Nat Commun 13, 4654 (2022). https://doi.org/10.1038/s41467-022-31985-y

Zitat herunterladen

Eingegangen: 20. Dezember 2021

Angenommen: 08. Juli 2022

Veröffentlicht: 15. August 2022

DOI: https://doi.org/10.1038/s41467-022-31985-y

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Fortschritte in der additiven Fertigung (2023)

Zeitschrift für Intelligente Fertigung (2023)

Das International Journal of Advanced Manufacturing Technology (2023)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.