Fomoxa

EN/VI

Ứng dụng

Nơi byte giống hệt nhau là quan trọng

Fomoxa phù hợp ở bất cứ đâu hai chương trình, thường viết bằng hai ngôn ngữ, phải thống nhất dữ liệu đến từng byte. Dưới đây là bốn nơi như vậy, kèm những gì chạy tốt và những điều cần biết trước khi bắt đầu.

01 · Game

Game multiplayer đa engine

Server bằng Rust hoặc C#, client Unity bằng C#, client Unreal bằng C++. Một schema, và mọi engine đọc ghi cùng một chuỗi byte.

Vì sao phù hợp
  • Snapshot giống hệt từng byte giúp lockstep, replay và checksum phát hiện desync so sánh được giữa các nền tảng.
  • Không tag hay tên trên wire: trạng thái người chơi chỉ tốn đúng các field của nó. Example game dùng 29 byte cho mỗi người chơi.
  • Code sinh ra không dùng reflection, nên chạy được dưới Unity IL2CPP và các target AOT khác.
  • Runtime C# nhắm netstandard2.1 và chạy trong Unity 2021+. Trong Unity 6, package com.fomoxa.networking nhận Vector3, Quaternion, Color và các kiểu khác của Unity làm kiểu field, và tự sinh codec cho chúng.
Cần biết
  • Client và server phát hành từ cùng một schema. Chỉ field thêm vào cuối mới sống sót qua rolling update.
  • Client decode bằng schema cũ sẽ nhận giá trị sai, không phải lỗi. Schema handshake của các runtime tồn tại để chặn điều đó ngay lúc kết nối.
  • Fomoxa không làm prediction, interpolation hay delta compression. Những việc đó vẫn thuộc netcode của bạn.
// Unity · model có kiểu của Unity, cho com.fomoxa.networking
[Network]
[Codec("game")]
public class PlayerState
{
    [Network("u32")]        [Codec("game")] public uint Id { get; set; }
    [Network("Vector3")]    [Codec("game")] public Vector3 Position { get; set; }
    [Network("Quaternion")] [Codec("game")] public Quaternion Rotation { get; set; }
    [Network("u8")]         [Codec("game")] public byte Health { get; set; }
}

So với các format khác: Protobuf và FlatBuffers cho phép nhiều encoding hợp lệ cho cùng một snapshot, còn canonical form của Cap'n Proto là tuỳ chọn. Với chúng, hai engine muốn so sánh snapshot phải cùng chạy một bước canonical hoá. Với Fomoxa, bước đó chính là format.

Đã chạy thật: fomoxa-example-game đưa client Unity, Unreal và Go vào cùng một trận với server Rust. Server một luồng giữ vững 30 Hz với 1000 bot, mỗi bot nhận trạng thái của 999 bot khác, và phần encode chỉ tốn 0.02 ms trong tick 33.3 ms.

02 · Service

Giao tiếp giữa backend service

Các service viết bằng Go, Rust, C# và Node.js trao đổi message mà chính các byte mang ý nghĩa: được ký, hash, cache hoặc so sánh.

Vì sao phù hợp
  • Chữ ký hoặc hash tạo ở ngôn ngữ này kiểm tra được ở ngôn ngữ khác, vì encode lại cùng giá trị cho ra cùng byte.
  • Cache theo nội dung và khử trùng lặp hoạt động mà không cần bước canonical hoá riêng.
  • fomoxac ci so schema với nhánh đích và làm build thất bại khi có breaking change.
  • Fomoxa chỉ là định dạng payload, nên đặt được vào bất cứ thứ gì bạn đang chạy: body HTTP, message queue, file, hoặc các runtime mẫu trên TCP/UDP.
Cần biết
  • Các team deploy độc lập trong nhiều tháng sẽ hợp hơn với format dùng field number.
  • Payload không đọc được trong log. Hãy giữ .fomoxa/schema.json và dùng fomoxa-inspect.
  • Không có tầng RPC: định nghĩa service, retry và routing là việc của bạn.
// Go ký, Rust kiểm tra: cả hai encode lại cùng một Order và ra cùng byte
go    payload := encode(order)                 // 2A 00 00 00 ...
      sig     := ed25519.Sign(key, payload)

rust  let payload = encode(&order);              // 2A 00 00 00 ... giống hệt
      verifying_key.verify(&payload, &sig)?;

So với các format khác: tài liệu Protobuf nói serialization của nó không canonical, nên bên kiểm tra phải dùng đúng các byte đã nhận chứ không encode lại. Với Fomoxa, bên nào cũng dựng lại được payload từ giá trị và ra đúng các byte đã được ký.

03 · Nhúng

Hệ nhúng viết bằng C

Vi điều khiển và gateway nói chuyện với server và công cụ viết bằng ngôn ngữ khác. Specification được viết sao cho một encoder bằng assembly trên MCU 8-bit cũng làm theo được.

Vì sao phù hợp
  • Code C sinh ra là C99, các hàm static inline header-only, không dependency.
  • Code C++ sinh ra là C++17 và chạy được với -fno-exceptions.
  • Model chỉ gồm field độ rộng cố định luôn có cùng kích thước, nên buffer có thể xác định lúc biên dịch.
  • Tiền tố độ dài và count được kiểm tra với số byte còn lại trước mọi lần cấp phát, điều quan trọng trên đường truyền không tin cậy.
  • Runtime C không có thread, không chạy nền, và nhận transport do người dùng tự viết.
Cần biết
  • Decode string, bytes và array trong code C sinh ra có gọi malloc. Trên target không có heap, hãy để những field đó ngoài model.
  • Transport có sẵn của runtime là socket TCP và UDP. Với UART, CAN hay sóng radio, hãy tự viết transport, hoặc chỉ dùng codec với framing của riêng bạn.
  • Số nguyên độ rộng cố định tốn nhiều byte hơn varint trên đường truyền chậm.
/* Một frame telemetry kích thước cố định: luôn 4 + 4 + 2 + 1 = 11 byte */
FOMOXA_MODEL
FOMOXA_CODEC("uplink")
struct Telemetry
{
    FOMOXA_FIELD(u32) FOMOXA_CODEC("uplink") uint32_t sequence;
    FOMOXA_FIELD(f32) FOMOXA_CODEC("uplink") float    temperature;
    FOMOXA_FIELD(u16) FOMOXA_CODEC("uplink") uint16_t millivolts;
    FOMOXA_FIELD(u8)  FOMOXA_CODEC("uplink") uint8_t  status;
};

So với các format khác: với varint, kích thước message phụ thuộc giá trị, nên các thư viện Protobuf cho hệ nhúng phải cấp buffer theo trường hợp xấu nhất. Một model Fomoxa chỉ gồm field độ rộng cố định có đúng một kích thước, bất kể giá trị.

04 · Công cụ

Công cụ đa engine

Bộ ghi replay, binary log, pipeline cho level và asset, plugin editor: các công cụ viết bằng một ngôn ngữ đọc dữ liệu do ngôn ngữ khác tạo ra.

Vì sao phù hợp
  • .fomoxa/schema.json mô tả mọi model độc lập với ngôn ngữ, công cụ đọc được ngay.
  • fomoxa-inspect và byte inspector decode bất kỳ payload nào theo một schema.
  • Quy tắc version skew cho biết chính xác bản ghi cũ nào vẫn decode được: những bản chỉ khác ở các field cuối.
  • Một bản ghi cho cùng hash dù engine nào ghi ra, nên file có thể khử trùng lặp và kiểm chứng.
Cần biết
  • File không mang marker phiên bản. Hãy lưu schema fingerprint cạnh dữ liệu, hoặc tự đóng khung nó.
  • Đổi thứ tự hay đổi kiểu một field khiến file cũ không đọc được. Giữ schema cũ để chuyển đổi.
# decode một frame trong file replay theo schema đã ghi ra nó
fomoxa-inspect --schema replays/v3/schema.json --message WorldSnapshot.game --file frame-0042.bin

# kiểm tra thay đổi schema so với schema lúc ghi các bản replay
fomoxac compat --base replays/v3/schema.json

So với các format khác: đánh địa chỉ bản ghi theo nội dung bằng một binary format khác vẫn làm được, miễn là mọi bên ghi đều đồng ý canonical hoá trước, như canonical form của Cap'n Proto cho phép. Fomoxa không có dạng thứ hai, nên bên ghi nào tuân thủ cũng ra cùng một file.

Chưa chắc Fomoxa có hợp không? Xem so sánh với Protobuf, FlatBuffers, Cap'n Proto, Borsh, BCS, JSON và MessagePack.