Feature Store: nền tảng để scale machine learning

Khi một tổ chức bắt đầu hành trình Machine Learning (ML), mọi thứ thường khá đơn giản. Một vài Data Scientist làm việc trong các notebook, thử nghiệm với một vài mô hình. Nhưng khi số lượng mô hình tăng từ 2 lên 10, rồi 50, và các yêu cầu về dự đoán real-time xuất hiện, một loạt các vấn đề nhức nhối bắt đầu nảy sinh.

"Feature engineering code bị duplicate ở khắp mọi nơi." "Model lúc training chạy rất tốt, nhưng khi deploy lại cho kết quả sai, tại sao vậy?" "Team tôi mất 3 tháng để launch một model mới chỉ vì phải xây dựng lại toàn bộ feature từ đầu."

Nếu bạn thấy những câu nói này quen thuộc, rất có thể team của bạn đang thiếu một thành phần hạ tầng ML cực kỳ quan trọng: một Feature Store.

Vấn đề khi không có feature store

Trong một môi trường ML chưa trưởng thành, các Data Scientist thường tự mình thực hiện toàn bộ quy trình: thu thập dữ liệu thô, viết code để biến đổi dữ liệu đó thành các features (các tín hiệu đầu vào cho mô hình), huấn luyện mô hình, và sau đó có thể đưa model đó cho các kỹ sư để deploy.

Quy trình này bộc lộ nhiều yếu-kém-chết-người khi scale:

1. Duplicate công sức: Mỗi model, mỗi Data Scientist lại tự viết code feature engineering của riêng mình. Cùng một feature avg_user_spend_last_30_days có thể được tính toán theo 5 cách khác nhau ở 5 nơi khác nhau.
2. Training-Serving Skew: Đây là một trong những lỗi phổ biến và nguy hiểm nhất. Logic tính feature cho training (thường là code Python trong notebook, chạy batch) khác với logic tính feature cho serving (thường là code Java/Go trong một microservice, chạy real-time). Sự khác biệt nhỏ nhất cũng có thể khiến model hoạt động sai lệch trong môi trường production.
3. Thiếu khả năng tái sử dụng và khám phá: Một Data Scientist mới không có cách nào dễ dàng để biết những feature nào đã tồn tại. Họ lại "phát minh lại bánh xe", lãng phí thời gian và công sức.
4. Khó khăn trong việc đảm bảo tính nhất quán: Việc join dữ liệu tại một thời điểm chính xác trong quá khứ (point-in-time correctness) để training là cực kỳ phức tạp và dễ lỗi, dẫn đến data leakage (mô hình "biết" trước thông tin trong tương lai).

Khi các vấn đề này tích tụ, tốc độ phát triển và triển khai model mới chậm lại đáng kể, chất lượng model giảm sút, và việc vận hành hệ thống ML trở thành một cơn ác mộng.

Feature store là gì?

Một Feature Store là một kho lưu trữ tập trung để lưu trữ, chia sẻ, quản lý và phục vụ các feature cho các mô hình Machine Learning. Nó đóng vai trò là cầu nối quan trọng giữa quá trình data engineering (tạo feature) và data science (sử dụng feature).

Hãy coi nó như một "siêu thị feature", nơi các Data Scientist có thể đến, "mua sắm" (lựa chọn) những feature họ cần cho model của mình mà không cần phải tự mình "trồng trọt" (tính toán) từ đầu.

Các khả năng chính của một feature store

Một Feature Store hoàn chỉnh thường bao gồm các thành phần sau:

1. Feature Registry (Danh mục Feature): Một catalog trung tâm chứa metadata về tất cả các feature có sẵn: tên, mô tả, chủ sở hữu, phiên bản, nguồn gốc, kiểu dữ liệu, v.v. Điều này giúp cho việc khám phá và quản lý feature trở nên dễ dàng.
2. Feature Computation (Tính toán Feature): Cung cấp các công cụ và framework để định nghĩa cách các feature được tính toán từ dữ liệu thô, có thể chạy theo lịch (batch) hoặc theo thời gian thực (streaming).
3. Feature Storage (Lưu trữ Feature): Đây là trái tim của Feature Store, thường bao gồm hai loại kho lưu trữ:
   • Offline Store: Lưu trữ dữ liệu feature lịch sử, thường là trên một Data Warehouse (BigQuery, Snowflake) hoặc Data Lake (S3, GCS). Dữ liệu này được dùng để training model và phân tích.
   • Online Store: Lưu trữ giá trị feature mới nhất cho các thực thể (entity), được tối ưu hóa cho việc truy xuất với độ trễ cực thấp (low-latency). Thường sử dụng các database NoSQL như Redis, DynamoDB, hoặc Cassandra. Dữ liệu này được dùng cho việc dự đoán real-time (online inference).
4. Feature Serving (Phục vụ Feature): Cung cấp API để các model có thể lấy feature một cách dễ dàng.
   • Lấy một tập dữ liệu training lớn từ Offline Store.
   • Lấy một vector feature duy nhất từ Online Store với độ trễ mili giây cho một request inference.
5. Point-in-Time Correct Joins: Tự động xử lý việc join dữ liệu một cách chính xác tại thời điểm sự kiện xảy ra, giúp ngăn chặn data leakage khi tạo dữ liệu training.
6. Feature Monitoring (Giám sát Feature): Theo dõi chất lượng và sự phân phối của feature theo thời gian, cảnh báo về các vấn đề như data drift (phân phối dữ liệu thay đổi), giá trị null tăng đột biến, v.v.

Lợi ích của việc sử dụng feature store

Việc triển khai một Feature Store mang lại nhiều lợi ích to lớn:

• Tăng tốc độ phát triển model: Giảm đáng kể thời gian dành cho feature engineering. Data Scientist có thể tái sử dụng các feature đã có thay vì xây dựng lại từ đầu.
• Đảm bảo tính nhất quán (Consistency): Giải quyết triệt để vấn đề training-serving skew bằng cách cung cấp một định nghĩa feature duy nhất cho cả hai môi trường.
• Tăng cường hợp tác: Các team có thể chia sẻ và tái sử dụng feature, phá vỡ các silo trong quá trình phát triển ML.
• Cải thiện chất lượng model: Feature được quản lý tốt hơn, giám sát chặt chẽ hơn, và ít lỗi hơn, dẫn đến các model đáng tin cậy hơn.
• Cho phép Real-time ML: Cung cấp hạ tầng cần thiết để phục vụ feature với độ trễ thấp cho các ứng dụng yêu cầu dự đoán tức thì (ví dụ: phát hiện gian lận, gợi ý sản phẩm).

Kiến trúc của một feature store

Một kiến trúc Feature Store điển hình trông như sau:

1. Data Sources: Dữ liệu thô từ các nguồn batch (Data Warehouse) và streaming (Kafka).
2. Feature Computation: Một hoặc nhiều job (ví dụ: Spark, dbt, Flink) đọc dữ liệu thô và tính toán các feature.
3. Storage: Kết quả được ghi đồng thời vào cả Offline Store (để training) và Online Store (để serving).
4. Registry: Tất cả các định nghĩa và metadata của feature được đăng ký tại Feature Registry.
5. Consumption:
   • Quá trình Model Training đọc một lượng lớn dữ liệu lịch sử từ Offline Store.
   • Quá trình Online Inference đọc một vector feature duy nhất với độ trễ thấp từ Online Store.

So sánh các công cụ feature store phổ biến

Thị trường Feature Store đang phát triển nhanh chóng. Dưới đây là một vài cái tên nổi bật:

Feast thường là điểm khởi đầu tốt cho nhiều công ty vì tính linh hoạt và cộng đồng lớn mạnh của nó.

Khi nào bạn cần một feature store?

Không phải mọi công ty đều cần một Feature Store ngay từ đầu.

• Cần:
  • Bạn có nhiều team và nhiều model ML đang chạy trong production.
  • Bạn có các ứng dụng yêu cầu dự đoán real-time.
  • Bạn đang gặp phải các vấn đề về training-serving skew.
  • Tốc độ phát triển model mới đang chậm lại do duplicate công sức.
• Có thể cần:
  • Bạn có một vài model quan trọng, chủ yếu chạy batch.
  • Bạn muốn xây dựng một nền tảng ML vững chắc cho tương lai.
• Chưa cần:
  • Bạn chỉ có 1-2 model đơn giản.
  • Bạn vẫn đang ở giai đoạn nghiên cứu và thử nghiệm (POC).

Ví dụ triển khai với Feast

Hãy xem một ví dụ đơn giản về cách định nghĩa feature trong Feast.

# example_repo.py
from google.protobuf.duration_pb2 import Duration
from feast import Entity, FeatureView, Field, FileSource, ValueType
from feast.types import Float32, Int64

# Định nghĩa một entity (ví dụ: tài xế)
driver = Entity(name="driver", join_keys=["driver_id"])

# Định nghĩa một nguồn dữ liệu
driver_stats_source = FileSource(
    path="data/driver_stats.parquet",
    timestamp_field="event_timestamp",
    created_timestamp_column="created",
)

# Định nghĩa một "view" của các features từ nguồn dữ liệu đó
driver_stats_fv = FeatureView(
    name="driver_hourly_stats",
    entities=[driver],
    ttl=Duration(seconds=86400 * 7), # Time-to-live: 7 ngày
    schema=[
        Field(name="conv_rate", dtype=Float32),
        Field(name="acc_rate", dtype=Float32),
        Field(name="avg_daily_trips", dtype=Int64),
    ],
    source=driver_stats_source,
)

Với file định nghĩa này, bạn có thể dùng Feast CLI để:

1. feast apply: Đăng ký các đối tượng này vào registry.
2. feast materialize: Tính toán và load dữ liệu feature từ FileSource vào Online Store.
3. Sau đó, trong code training hoặc inference, bạn có thể dễ dàng lấy các feature này.

Kết luận

Feature Store không phải là một viên đạn bạc, nhưng nó là một thành phần hạ tầng thiết yếu để giải quyết các thách thức khi scale hệ thống Machine Learning. Bằng cách tập trung hóa việc quản lý feature, Feature Store giúp các tổ chức tăng tốc độ phát triển model, cải thiện độ tin cậy, và cho phép các ứng dụng ML real-time phức tạp.

Nếu team của bạn đang vật lộn với việc vận hành ML ở quy mô lớn, đã đến lúc nghiêm túc xem xét việc xây dựng hoặc triển khai một Feature Store. Hãy bắt đầu nhỏ, có thể chỉ với Offline Store, và dần dần mở rộng khi nhu cầu của bạn tăng lên. Đó là một khoản đầu tư sẽ mang lại lợi tức lớn về hiệu quả và tốc độ đổi mới cho đội ngũ data của bạn.