Dataflow

Các tính năng chính

Triển khai và quản lý các đường ống học máy (ML) một cách dễ dàng. Sử dụng các mô hình ML để thực hiện suy luận cục bộ và từ xa với các đường ống hàng loạt và luồng. Sử dụng các công cụ xử lý dữ liệu để chuẩn bị dữ liệu của bạn cho việc đào tạo mô hình và xử lý kết quả của các mô hình.

Hệ thống xử lý dữ liệu được tối ưu hóa cho hiệu suất và chi phí sử dụng GPU của bạn. Hỗ trợ nhiều loại GPU NVIDIA.

Điều chỉnh năng lực tính toán được phân bổ cho từng công nhân một cách động dựa trên mức sử dụng. Tự động điều chỉnh theo chiều dọc hoạt động song song với tự động điều chỉnh theo chiều ngang để điều chỉnh công nhân một cách liền mạch sao cho phù hợp nhất với nhu cầu của đường ống.

Tự động mở rộng theo chiều ngang cho phép dịch vụ Dataflow tự động chọn số lượng phiên bản công nhân phù hợp cần thiết để chạy công việc của bạn. Dịch vụ Dataflow cũng có thể phân bổ lại động nhiều công nhân hơn hoặc ít công nhân hơn trong thời gian chạy để tính đến các đặc điểm của công việc của bạn.

Sự phù hợp sẽ tạo ra các nhóm tài nguyên cụ thể theo từng giai đoạn được tối ưu hóa cho từng giai đoạn để giảm lãng phí tài nguyên.

Một bộ tính năng bao gồm 1) Quản lý đường ống dữ liệu dựa trên SLO, 2) Khả năng trực quan hóa công việc cung cấp cho người dùng cách trực quan để kiểm tra biểu đồ công việc và xác định các điểm nghẽn, 3) Đề xuất tự động để xác định và điều chỉnh các vấn đề về hiệu suất và tính khả dụng.

Streaming Engine tách biệt hoạt động tính toán khỏi lưu trữ trạng thái và di chuyển các phần thực thi đường ống ra khỏi VM của công nhân và vào phần cuối dịch vụ Dataflow, cải thiện đáng kể khả năng tự động điều chỉnh quy mô và độ trễ dữ liệu.

Dataflow SQL cho phép bạn sử dụng các kỹ năng SQL của mình để phát triển các luồng Dataflow ngay từ giao diện người dùng web BigQuery. Bạn có thể kết hợp dữ liệu phát trực tuyến từ Pub/Sub với các tệp trong Cloud Storage hoặc các bảng trong BigQuery, ghi kết quả vào BigQuery và xây dựng bảng thông tin thời gian thực bằng Google Sheets hoặc các công cụ BI khác.

Dataflow FlexRS giúp giảm chi phí xử lý hàng loạt bằng cách sử dụng các kỹ thuật lập lịch tiên tiến, dịch vụ Dataflow Shuffle và kết hợp các phiên bản máy ảo (VM) có thể tạm dừng và VM thông thường.

Mẫu Dataflow cho phép bạn dễ dàng chia sẻ các đường ống của mình với các thành viên trong nhóm và trên toàn tổ chức hoặc tận dụng nhiều mẫu do Google cung cấp để triển khai các tác vụ xử lý dữ liệu đơn giản nhưng hữu ích. Bao gồm các mẫu Change Data Capture cho các trường hợp sử dụng phân tích luồng. Với Flex Templates, bạn có thể tạo mẫu từ bất kỳ đường ống Dataflow nào.

Xây dựng các đường ống theo từng bước từ đầu với Vertex AI Notebooks và triển khai với Dataflow runner. Biên soạn các đường ống Apache Beam từng bước bằng cách kiểm tra các biểu đồ đường ống trong quy trình làm việc đọc-đánh giá-in-vòng lặp (REPL). Có sẵn thông qua Vertex AI của Google, Notebooks cho phép bạn viết các đường ống trong một môi trường trực quan với các khuôn khổ khoa học dữ liệu và học máy mới nhất.

Đồng bộ hóa hoặc sao chép dữ liệu một cách đáng tin cậy và với độ trễ tối thiểu trên các nguồn dữ liệu không đồng nhất để cung cấp năng lượng cho phân tích luồng. Các mẫu Dataflow có thể mở rộng tích hợp với Datastream để sao chép dữ liệu từ Cloud Storage vào BigQuery, PostgreSQL hoặc Spanner. Trình kết nối Debezium của Apache Beam cung cấp tùy chọn nguồn mở để thu thập các thay đổi dữ liệu từ MySQL, PostgreSQL, SQL Server và Db2.

Giám sát trực tuyến Dataflow cho phép bạn truy cập trực tiếp vào số liệu công việc để hỗ trợ khắc phục sự cố cho các đường ống hàng loạt và luồng. Bạn có thể truy cập vào biểu đồ giám sát ở cả chế độ hiển thị cấp độ bước và cấp độ công nhân và đặt cảnh báo cho các điều kiện như dữ liệu cũ và độ trễ hệ thống cao.

Bạn có thể tạo một đường ống hàng loạt hoặc phát trực tuyến được bảo vệ bằng khóa mã hóa do khách hàng quản lý (CMEK) hoặc truy cập dữ liệu được CMEK bảo vệ trong các nguồn và đích.

Việc tích hợp Dataflow với VPC Service Controls cung cấp thêm tính bảo mật cho môi trường xử lý dữ liệu của bạn bằng cách cải thiện khả năng giảm thiểu rủi ro rò rỉ dữ liệu.