Architecture Overview

  Your Application
        │
        ▼
┌───────────────────────────────────────────────┐
│              GatewayClient                    │
│                                               │
│  ┌──────────┐  ┌──────────┐  ┌────────────┐  │
│  │  Cache    │  │  Rate    │  │  Request   │  │
│  │  Layer    │  │  Limiter │  │  Logger    │  │
│  └──────────┘  └──────────┘  └────────────┘  │
│                                               │
│  ┌────────────────────────────────────────┐   │
│  │          Retry Router                  │   │
│  │  ┌──────┐  ┌──────────┐  ┌──────┐     │   │
│  │  │OpenAI│→ │Anthropic │→ │Local │     │   │
│  │  └──────┘  └──────────┘  └──────┘     │   │
│  └────────────────────────────────────────┘   │
│                                               │
│  ┌────────────────────────────────────────┐   │
│  │          Usage Analytics               │   │
│  └────────────────────────────────────────┘   │
└───────────────────────────────────────────────┘
Included with AI API Gateway

Ready for the complete AI API Gateway?
