Microsoft 365 ngừng hoạt động diện rộng do thay đổi IP trên router WAN

Microsoft cho biết, sự cố ngừng hoạt động kéo dài 5 tiếng của Microsoft 365 bắt nguồn từ thay đổi cấu hình WAN và DNS khi cập nhật WAN, dẫn tới thay đổi IP.

Sự cố khiến người dùng trên toàn thế giới gặp khó khăn khi truy cập các dịch vụ Microsoft 365 bị ảnh hưởng. Theo Microsoft, các dịch vụ bị tạm ngừng theo từng đợt, cao nhất là khoảng 30 phút/lần.

Danh sách các dịch vụ bị ảnh hưởng bao gồm Microsoft Teams, Exchange Online, Outlook, SharePoint Online, OneDrive for Business, PowerBi, Microsoft 365 Admin Center, Microsoft Graph, Microsoft Intune, Microsoft Defender for Cloud Apps và Microsoft Defender for Identity.

Microsoft đã mất hơn 5 tiếng để khôi phục Microsoft 365: “Từ 07:05 UTC đến 12:43 UTC ngày 25 tháng 1 năm 2023, khách hàng đã gặp sự cố kết nối mạng, mạng chậm hoặc hết thời gian chờ khi cố gắng kết nối với các tài nguyên trong Azure, cũng như các dịch vụ khác của Microsoft bao gồm Microsoft 365 và Power Platform”.

Hãng cũng cho biết sự cố xảy ra khi IP của một bộ định tuyến WAN bị thay đổi bằng một lệnh chưa được kiểm tra và có các hành vi khác nhau trên các thiết bị mạng khác nhau.

Từ 08:10 UTC, các hệ thống tự động duy trì tình trạng hoạt động của WAN bao gồm hệ thống xác định và loại bỏ các thiết bị kém cũng như hệ thống kỹ thuật lưu lượng để tối ưu hóa luồng dữ liệu trên mạng.

Khi đó, một số đường dẫn mạng tiếp tục bị mất gói tin, gia tăng từ 9:35 UTC cho đến khi hệ thống được khởi động lại theo cách thủ công, đưa mạng WAN trở lại điều kiện hoạt động tối ưu và hoàn tất quá trình khôi phục lúc 12:43 UTC.

Sau sự cố này, Microsoft cho biết hãng chặn việc thực thi các lệnh có tác động mạnh mẽ, đồng thời yêu cầu việc thực thi lệnh phải tuân thủ nguyên tắc thay đổi cấu hình an toàn.