21 giờ 52 phút giờ quốc tế ngày 14/7/2025, dịch vụ phân giải tên miền công cộng 1.1.1.1 của Cloudflare biến mất trên phạm vi toàn cầu. Nó trở lại lúc 22 giờ 54 — đúng 62 phút sau.
Ban đầu có suy đoán rằng nguyên nhân là một vụ chiếm quyền định tuyến. Suy đoán ấy có cơ sở: đúng lúc đó, một nhà mạng ở Ấn Độ quảng bá nhầm dải địa chỉ 1.1.1.1 ra Internet.
Nhưng đó chỉ là trùng hợp. Cloudflare bác bỏ giả thuyết và công bố nguyên nhân thật, nằm hoàn toàn trong nhà.
Cấu hình sai ngủ hơn một tháng
Mọi chuyện bắt đầu ngày 6/6/2025, hơn một tháng trước đó. Trong lúc chuẩn bị cho một dịch vụ nội bộ chưa dùng tới, đội kỹ thuật thực hiện một thay đổi cấu hình có sai sót. Các dải địa chỉ của dịch vụ phân giải bị gán nhầm cho dịch vụ mới.
Thay đổi đó không gây hậu quả gì ngay, vì dịch vụ mới chưa chạy. Nó nằm im trong hệ thống sản xuất suốt nhiều tuần. Không ai biết nó ở đó.
Ngày 14/7 lúc 21 giờ 48, một thao tác thứ hai được thực hiện: gắn một địa điểm thử nghiệm vào chính dịch vụ chưa lên sản xuất kia. Thao tác đó kích hoạt một đợt làm mới cấu hình định tuyến trên toàn hệ thống.
Bốn phút sau, cấu hình sai từ tháng 6 phát tác. Các dải địa chỉ của dịch vụ phân giải bị rút khỏi mọi trung tâm dữ liệu của Cloudflare và dồn về một địa điểm không tồn tại.
Máy chủ vẫn chạy. Chỉ là không ai định tuyến tới được nữa.
Cloudflare bắt đầu quay lại cấu hình cũ lúc 22 giờ 20, và lưu lượng hồi về khoảng 77% mức bình thường ngay sau đó.
Vì sao loại lỗi này khó tìm nhất
Một sai sót không gây hậu quả tức thì, đợi tới khi có tác nhân thứ hai mới bùng lên. Nếu đội kỹ thuật chỉ soát các thay đổi trong ngày, họ sẽ không tìm ra nguyên nhân — thay đổi gây lỗi đã nằm đó hơn một tháng.
Cloudflare chỉ ra chỗ hở trong bản tường trình. Hệ thống cấu hình cũ không có cơ chế chặn việc một dải địa chỉ bị gán cho hai dịch vụ cùng lúc. Cấu hình sai đó lẽ ra không được phép lưu ngay từ tháng 6.
Đáng chú ý là mẫu này lặp lại ở nhiều sự cố lớn năm 2025. Cấu hình chứ không phải mã. Thiếu lớp kiểm tra chứ không phải thiếu năng lực. Mã nguồn được rà soát, kiểm thử, thả từng phần. Cấu hình thì thường đi thẳng.
Bộ định tuyến văn phòng cũng trỏ về 1.1.1.1
Địa chỉ 1.1.1.1 được rất nhiều người dùng trong nước đặt làm máy chủ phân giải, phần vì dễ nhớ, phần vì nhanh. Nhiều bộ định tuyến văn phòng cũng được cấu hình trỏ về đó.
Khi nó ngừng, biểu hiện với người dùng là mạng hỏng — trong khi đường truyền vẫn tốt hoàn toàn.
Điều đáng làm là đừng đặt cả máy chủ phân giải chính lẫn phụ về cùng một nhà cung cấp. Nếu chính là 1.1.1.1 thì phụ nên thuộc bên khác. Đừng chọn 1.0.0.1 làm phụ: hai địa chỉ đó cùng một hệ thống, và trong sự cố ngày 14/7 chúng cùng biến mất. Đặt phụ như vậy là không có phụ.
Một chi tiết nữa đáng chú ý là cách sự cố được phát hiện. Vì dịch vụ phân giải nằm ở lớp rất thấp, người dùng không báo lỗi phân giải tên miền. Họ báo rằng ứng dụng không vào được, hoặc mạng chậm. Lần từ triệu chứng đó về đúng nguyên nhân mất thêm thời gian.
Cũng vì vậy mà nên có công cụ đo phân giải tên miền riêng, tách khỏi công cụ đo dịch vụ. Một phép kiểm hỏi thẳng máy chủ phân giải, không đi qua ứng dụng, sẽ chỉ đúng chỗ hỏng trong vài giây thay vì vài chục phút.
Một cấu hình sai có thể ngủ yên hàng tháng rồi mới bị đánh thức. Và thứ đánh thức nó thường là một thao tác chẳng liên quan gì.
