Dataproc

Triển khai các ứng dụng và quy trình Spark có khả năng tự động mở rộng mà không cần cung cấp hoặc điều chỉnh cơ sở hạ tầng thủ công.

Các cụm có thể thay đổi kích thước

Tạo và mở rộng cụm nhanh chóng với nhiều loại máy ảo, kích thước đĩa, số lượng nút và tùy chọn mạng khác nhau.

Tự động mở rộng cụm

Tự động mở rộng Dataproc cung cấp cơ chế tự động hóa quản lý tài nguyên cụm và cho phép tự động thêm hoặc bớt các công nhân cụm (nút).

Đám mây tích hợp

Tích hợp sẵn với Cloud Storage, BigQuery, Dataplex, Vertex AI, Composer, Bigtable, Cloud Logging và Cloud Monitoring, mang đến cho bạn nền tảng dữ liệu hoàn thiện và mạnh mẽ hơn.

Cấu hình tự động hoặc thủ công

Dataproc tự động cấu hình phần cứng và phần mềm nhưng cũng cung cấp cho bạn khả năng điều khiển thủ công.

Những công cụ phát triển

Nhiều cách để quản lý cụm, bao gồm giao diện người dùng web dễ sử dụng, Cloud SDK , API RESTful và quyền truy cập SSH.

Hành động khởi tạo

Chạy các hành động khởi tạo để cài đặt hoặc tùy chỉnh các thiết lập và thư viện bạn cần khi cụm của bạn được tạo.

Các thành phần tùy chọn

Sử dụng các thành phần tùy chọn để cài đặt và cấu hình các thành phần bổ sung trên cụm. Các thành phần tùy chọn được tích hợp với các thành phần Dataproc và cung cấp môi trường được cấu hình đầy đủ cho Zeppelin, Presto và các thành phần phần mềm nguồn mở khác liên quan đến hệ sinh thái Apache Hadoop và Apache Spark.

Container và hình ảnh tùy chỉnh

Dataproc serverless Spark có thể được cung cấp với các container docker tùy chỉnh . Dataproc cluster có thể được cung cấp với một hình ảnh tùy chỉnh bao gồm các gói hệ điều hành Linux được cài đặt sẵn của bạn.

Máy ảo linh hoạt

Các cụm có thể sử dụng các loại máy tùy chỉnh và máy ảo có thể tạm thời chiếm dụng để có kích thước hoàn hảo cho nhu cầu của bạn.

Mẫu quy trình làm việc

Mẫu quy trình làm việc Dataproc cung cấp một cơ chế linh hoạt và dễ sử dụng để quản lý và thực hiện quy trình làm việc. Mẫu quy trình làm việc là cấu hình quy trình làm việc có thể tái sử dụng, định nghĩa biểu đồ các công việc có thông tin về nơi chạy các công việc đó.

Quản lý chính sách tự động

Chuẩn hóa các chính sách bảo mật, chi phí và cơ sở hạ tầng trên một nhóm cụm. Bạn có thể tạo các chính sách cho quản lý tài nguyên, bảo mật hoặc mạng ở cấp độ dự án. Bạn cũng có thể giúp người dùng dễ dàng sử dụng đúng hình ảnh, thành phần, metastore và các dịch vụ ngoại vi khác, cho phép bạn quản lý nhóm cụm và chính sách Spark không có máy chủ của mình trong tương lai.

Cảnh báo thông minh

Cảnh báo được Dataproc đề xuất cho phép khách hàng điều chỉnh ngưỡng cho các cảnh báo được cấu hình sẵn để nhận cảnh báo về cụm nhàn rỗi, cụm chạy trốn, công việc, cụm sử dụng quá mức, v.v. Khách hàng có thể tùy chỉnh thêm các cảnh báo này và thậm chí tạo các khả năng quản lý cụm và công việc nâng cao. Các khả năng này cho phép khách hàng quản lý đội xe của mình ở quy mô lớn.

Dataproc trên Google Distributed Cloud (GDC)

Dataproc trên GDC cho phép bạn chạy Spark trên GDC Edge Appliance trong trung tâm dữ liệu của bạn. Bây giờ bạn có thể sử dụng cùng một ứng dụng Spark trên Google Cloud cũng như trên dữ liệu nhạy cảm trong trung tâm dữ liệu của bạn.

Siêu dữ liệu đa vùng Dataproc

Dataproc Metastore là một Hive metastore (HMS) được quản lý hoàn toàn, có tính khả dụng cao với khả năng kiểm soát truy cập chi tiết. Dataproc Metastore đa vùng cung cấp DR chủ động-chủ động và khả năng phục hồi chống lại sự cố mất điện cục bộ.