Apache 工作流程管理 – Amazon MWAA – Amazon Web Services 跳至主要內容

Amazon Managed Workflows for Apache Airflow

Amazon Managed Workflows for Apache Airflow(MWAA)

透過管理的 Apache Airflow 安全且大規模簡化工作流程協調

為什麼使用 Amazon MWAA?

適用於 Apache 空氣流量的亞馬遜託管工作流程 (MWAA) 可讓您使用業界標準的 Apache Airflow 平台協調資料管道和工作流程。選擇無伺服器或佈建部署選項,即可享受企業級擴充性、可用性和安全性,而無需管理基礎架構。

亞馬遜 MWAA 可以在下一代亞馬遜 SageMaker 中訪問

使用下一代亞馬遜 SageMaker 中的亞馬遜 MWAA,您可以順暢地部署和擴展 Apache Airflow,而無需作業負擔。Amazon SageMaker 中的 MWAA 具有自動化擴展和內建的容錯能力,可確保您的工作流程可靠地執行,讓您專注於創新,而不是基礎架構。了解更多

Missing alt text value

選擇您的部署模型

無伺服器工作流程

Amazon MWAA 無伺服器,藉由隨需或按排程自動執行 YAML 或 Python 型工作流程,從而消除基礎架構管理複雜性。利用企業級高可用性輕鬆擴充至數百個工作流程,無需 Apache Airflow 配置。使用以使用為基礎的定價和內建的安全控制項,您只需支付實際執行時間。

傳統管理環境

Amazon MWAA 讓您能夠透過使用偏好的依賴項和外掛程式部署自訂環境,讓您能夠完全控制工作流程,同時我們處理基礎架構佈建、安全性和擴展。

優勢

    Amazon MWAA 提供部署模型,以滿足各種工作流程需求。MWAA 無伺服器自動根據需求進行調整,消除手動容量規劃,同時優化成本。佈建選項可針對 Airflow 資源進行細微控制,讓您根據特定需求微調效能。選擇輕鬆自動調整或精確的資源控制,Amazon MWAA 可根據您的企業進行調整。

    Amazon MWAA 提供針對您需求量身定制的全面安全性:無伺服器提供精細的工作流程層級控制,而 Provisioned 為不同的商業環境提供環境層級邊界。這兩種選項都具備企業級安全性,包括 VPC 隔離、端對端加密和精細的存取控制,確保您的工作流程保持受到保護,而不會影響效能。

使用案例

    協調跨多個 AWS 服務和外部資料來源的複雜資料轉換。為您的資料湖架構自動化資料擷取、編目和處理工作流程,同時透過批次處理協調串流資料管道。

    協調從資料準備到模型訓練、驗證和部署的端對端機器學習工作流程。透過開發和生產環境的 A/B 測試,自動執行功能萃取、轉換工作流程,並協調模型部署。

    自動排程並協調報表產生、資料重新整理和儀表板更新。實作自動化資料驗證、清理和品質保證工作流程,同時同步業務應用程式與分析平台之間的資料。

    在整個基礎架構中自動化備份工作流程、資料封存和災難復原程序。協調 AWS 和其他雲端供應商或內部部署系統的工作流程,同時協調資料治理工作流程、合規報告和稽核記錄產生。

部落格文章