A/B Testing

Sử dụng Firebase A/B Testing kết hợp với GSM để tracking cho việc A/B Testing

1. Nguyên lý hoạt động

Lợi dụng tính chất chia tệp user A-B của firebase để từ đó game gán group là A hay B cho tất cả các dữ liệu event GSM.
Ví dụ: Khi 1 user được firebase phân loại thuộc tệp A, thì lúc này phía game sẽ set group bằng userA cho tất các loại event với GSM. Khi đó trên GSM khi tìm chọn group = userA sẽ ra tất cả các hành vi của user thuộc tệp A.

2. Cách thực hiện

Đối với người vận hành: Tạo và thiết lập AB test trên Firebase
Đối với Developer: lấy dữ liệu từ AB Test và tạo logic với game

2.1 Đối với người vận hành

Lưu ý: Trên firebase, 1 thời điểm chỉ tạo ra 1 case AB Testing
Tạo A/B Test trên firebase
- Vào Firebase Console → Engage → A/B Testing.
- Nhấn Create experiment và chọn Remote Config.
- Đặt tên cho thử nghiệm (ví dụ: "AB Testing").
- Chọn điều kiện thử nghiệm (Targeting) như:
  - Tỷ lệ phân bổ: 50% người dùng nhóm A (control), 50% nhóm B (test).
    Đối tượng người dùng: Có thể chọn tất cả hoặc chỉ một nhóm cụ thể (ví dụ: người dùng mới, người dùng Android, người dùng đã cài app >30 ngày).
    Mục tiêu đo lường: Retention rate, in-app purchase, engagement...
- Variants: Làm theo mẫu bên dưới

Luôn luôn phải có parameter: ab_test_group. Trường này giúp phân biệt đây là user thuộc tệp A hay B
Các trường khác là data để phía game xử lý logic cho event AB Testing. Ví dụ trong hình trên là ConfigMiniEvent, ConfigMiniEventLoop, ad_full_settings là các json data để phía game lấy về và xử lý logic. Các trường này đặt tên tùy ý tùy theo logic của game

2.2 Đối với Developer

Phía game thực hiện code để lấy giá trị với parameter có key = "ab_test_group".
Sử dụng giá trị nhận được để đẩy vào trường group trong tất cả các event của gsm. Các loại event của GSM xem tại đây

2.3 Ví dụ kết quả sau khi thực hiện AB Testing

Ví dụ parameter "ab_test_group" có giá trị là A hoặc B, và lấy nguyên giá trị này để đẩy vào group trong GSM.
Như vậy ở GSM sẽ có group bằng A hoặc B để lựa chọn xem dữ liệu.
Nếu group = A tức dữ liệu phát sinh từ tệp user A
Nếu group = B tức dữ liệu phát sinh từ tệp user B

PreviousUser Condition NextCSCPlugin

Last updated 1 month ago

1. Nguyên lý hoạt động

Lợi dụng tính chất chia tệp user A-B của firebase để từ đó game gán group là A hay B cho tất cả các dữ liệu event GSM.

Ví dụ: Khi 1 user được firebase phân loại thuộc tệp A, thì lúc này phía game sẽ set group bằng userA cho tất các loại event với GSM. Khi đó trên GSM khi tìm chọn group = userA sẽ ra tất cả các hành vi của user thuộc tệp A.

2. Cách thực hiện

Đối với người vận hành: Tạo và thiết lập AB test trên Firebase

Đối với Developer: lấy dữ liệu từ AB Test và tạo logic với game

2.1 Đối với người vận hành

Lưu ý: Trên firebase, 1 thời điểm chỉ tạo ra 1 case AB Testing

Tạo A/B Test trên firebase

Vào Firebase Console → Engage → A/B Testing.
Nhấn Create experiment và chọn Remote Config.
Đặt tên cho thử nghiệm (ví dụ: "AB Testing").
Chọn điều kiện thử nghiệm (Targeting) như:
- Tỷ lệ phân bổ: 50% người dùng nhóm A (control), 50% nhóm B (test).
  - Đối tượng người dùng: Có thể chọn tất cả hoặc chỉ một nhóm cụ thể (ví dụ: người dùng mới, người dùng Android, người dùng đã cài app >30 ngày).
  - Mục tiêu đo lường: Retention rate, in-app purchase, engagement...
Variants: Làm theo mẫu bên dưới

Luôn luôn phải có parameter: ab_test_group. Trường này giúp phân biệt đây là user thuộc tệp A hay B

Các trường khác là data để phía game xử lý logic cho event AB Testing. Ví dụ trong hình trên là ConfigMiniEvent, ConfigMiniEventLoop, ad_full_settings là các json data để phía game lấy về và xử lý logic. Các trường này đặt tên tùy ý tùy theo logic của game

2.2 Đối với Developer

Phía game thực hiện code để lấy giá trị với parameter có key = "ab_test_group".

Sử dụng giá trị nhận được để đẩy vào trường group trong tất cả các event của gsm. Các loại event của GSM xem tại đây

2.3 Ví dụ kết quả sau khi thực hiện AB Testing

Ví dụ parameter "ab_test_group" có giá trị là A hoặc B, và lấy nguyên giá trị này để đẩy vào group trong GSM.

Như vậy ở GSM sẽ có group bằng A hoặc B để lựa chọn xem dữ liệu.

Nếu group = A tức dữ liệu phát sinh từ tệp user A

Nếu group = B tức dữ liệu phát sinh từ tệp user B