{
  "source": "Continual Learning Exam, main results table",
  "main_table_sha256": "c67c5433d20d54db382ff9f43aff3798b4b55a09258c4ecf18282dcbc92d676b",
  "denominators": {
    "levels": 600,
    "tasks": 120
  },
  "rows": [
    {
      "harness": "Claude Code",
      "model": "Claude Opus 5",
      "t1": {
        "counts": [
          95,
          59,
          45,
          30,
          24
        ],
        "rates": [
          79.16666666666666,
          49.166666666666664,
          37.5,
          25.0,
          20.0
        ],
        "completed_levels": 253,
        "completion": 42.16666666666667,
        "tokens_M": 380.87,
        "time_h": 32.8,
        "cost_USD": 410.92
      },
      "t2": {
        "counts": [
          103,
          68,
          47,
          40,
          28
        ],
        "rates": [
          85.83333333333333,
          56.666666666666664,
          39.166666666666664,
          33.33333333333333,
          23.333333333333332
        ],
        "completed_levels": 286,
        "completion": 47.66666666666667,
        "tokens_M": 520.62,
        "time_h": 58.9,
        "cost_USD": 720.56
      }
    },
    {
      "harness": "Claude Code",
      "model": "Claude Sonnet 5",
      "t1": {
        "counts": [
          78,
          42,
          24,
          10,
          8
        ],
        "rates": [
          65.0,
          35.0,
          20.0,
          8.333333333333332,
          6.666666666666667
        ],
        "completed_levels": 162,
        "completion": 27.0,
        "tokens_M": 470.51,
        "time_h": 19.25,
        "cost_USD": 220.95
      },
      "t2": {
        "counts": [
          89,
          58,
          41,
          30,
          23
        ],
        "rates": [
          74.16666666666667,
          48.333333333333336,
          34.166666666666664,
          25.0,
          19.166666666666668
        ],
        "completed_levels": 241,
        "completion": 40.166666666666664,
        "tokens_M": 1008.6,
        "time_h": 37.1,
        "cost_USD": 506.3
      }
    },
    {
      "harness": "Codex",
      "model": "GPT-5.6-Sol",
      "t1": {
        "counts": [
          70,
          39,
          28,
          16,
          14
        ],
        "rates": [
          58.333333333333336,
          32.5,
          23.333333333333332,
          13.333333333333334,
          11.666666666666666
        ],
        "completed_levels": 167,
        "completion": 27.833333333333332,
        "tokens_M": 131.3,
        "time_h": 23.1,
        "cost_USD": 168.32
      },
      "t2": {
        "counts": [
          78,
          46,
          32,
          22,
          21
        ],
        "rates": [
          65.0,
          38.333333333333336,
          26.666666666666668,
          18.333333333333332,
          17.5
        ],
        "completed_levels": 199,
        "completion": 33.166666666666664,
        "tokens_M": 152.3,
        "time_h": 28.2,
        "cost_USD": 210.83
      }
    },
    {
      "harness": "Codex",
      "model": "GPT-5.6-Terra",
      "t1": {
        "counts": [
          75,
          38,
          24,
          16,
          14
        ],
        "rates": [
          62.5,
          31.666666666666664,
          20.0,
          13.333333333333334,
          11.666666666666666
        ],
        "completed_levels": 167,
        "completion": 27.833333333333332,
        "tokens_M": 130.34,
        "time_h": 18.6,
        "cost_USD": 73.49
      },
      "t2": {
        "counts": [
          82,
          49,
          31,
          22,
          15
        ],
        "rates": [
          68.33333333333333,
          40.833333333333336,
          25.833333333333336,
          18.333333333333332,
          12.5
        ],
        "completed_levels": 199,
        "completion": 33.166666666666664,
        "tokens_M": 135.2,
        "time_h": 20.2,
        "cost_USD": 83.16
      }
    },
    {
      "harness": "Codex",
      "model": "GPT-5.6-Luna",
      "t1": {
        "counts": [
          61,
          31,
          16,
          9,
          5
        ],
        "rates": [
          50.83333333333333,
          25.833333333333336,
          13.333333333333334,
          7.5,
          4.166666666666666
        ],
        "completed_levels": 122,
        "completion": 20.333333333333332,
        "tokens_M": 130.6,
        "time_h": 16.2,
        "cost_USD": 28.62
      },
      "t2": {
        "counts": [
          68,
          37,
          23,
          14,
          10
        ],
        "rates": [
          56.666666666666664,
          30.833333333333336,
          19.166666666666668,
          11.666666666666666,
          8.333333333333332
        ],
        "completed_levels": 152,
        "completion": 25.333333333333336,
        "tokens_M": 133.5,
        "time_h": 19.1,
        "cost_USD": 33.53
      }
    },
    {
      "harness": "Hermes-Agent",
      "model": "Gemini 3.7 Flash",
      "t1": {
        "counts": [
          66,
          40,
          23,
          13,
          10
        ],
        "rates": [
          55.00000000000001,
          33.33333333333333,
          19.166666666666668,
          10.833333333333334,
          8.333333333333332
        ],
        "completed_levels": 152,
        "completion": 25.333333333333336,
        "tokens_M": 486.25,
        "time_h": 46.1,
        "cost_USD": 215.64
      },
      "t2": {
        "counts": [
          75,
          49,
          36,
          23,
          19
        ],
        "rates": [
          62.5,
          40.833333333333336,
          30.0,
          19.166666666666668,
          15.833333333333332
        ],
        "completed_levels": 202,
        "completion": 33.666666666666664,
        "tokens_M": 901.82,
        "time_h": 102.2,
        "cost_USD": 394.84
      }
    },
    {
      "harness": "Hermes-Agent",
      "model": "Doubao-Seed-Evolving",
      "t1": {
        "counts": [
          58,
          33,
          17,
          8,
          6
        ],
        "rates": [
          48.333333333333336,
          27.500000000000004,
          14.166666666666666,
          6.666666666666667,
          5.0
        ],
        "completed_levels": 122,
        "completion": 20.333333333333332,
        "tokens_M": 232.01,
        "time_h": 64.4,
        "cost_USD": 74.05
      },
      "t2": {
        "counts": [
          75,
          46,
          27,
          17,
          15
        ],
        "rates": [
          62.5,
          38.333333333333336,
          22.5,
          14.166666666666666,
          12.5
        ],
        "completed_levels": 180,
        "completion": 30.0,
        "tokens_M": 345.81,
        "time_h": 81.2,
        "cost_USD": 102.61
      }
    },
    {
      "harness": "Hermes-Agent",
      "model": "Qwen3.8-Max",
      "t1": {
        "counts": [
          85,
          40,
          19,
          7,
          3
        ],
        "rates": [
          70.83333333333334,
          33.33333333333333,
          15.833333333333332,
          5.833333333333333,
          2.5
        ],
        "completed_levels": 154,
        "completion": 25.666666666666664,
        "tokens_M": 267.82,
        "time_h": 65.17,
        "cost_USD": 118.71
      },
      "t2": {
        "counts": [
          89,
          41,
          20,
          7,
          3
        ],
        "rates": [
          74.16666666666667,
          34.166666666666664,
          16.666666666666664,
          5.833333333333333,
          2.5
        ],
        "completed_levels": 160,
        "completion": 26.666666666666668,
        "tokens_M": 286.43,
        "time_h": 70.12,
        "cost_USD": 134.54
      }
    },
    {
      "harness": "Hermes-Agent",
      "model": "Hy3",
      "t1": {
        "counts": [
          61,
          32,
          16,
          8,
          5
        ],
        "rates": [
          50.83333333333333,
          26.666666666666668,
          13.333333333333334,
          6.666666666666667,
          4.166666666666666
        ],
        "completed_levels": 122,
        "completion": 20.333333333333332,
        "tokens_M": 193.69,
        "time_h": 35.9,
        "cost_USD": 8.26
      },
      "t2": {
        "counts": [
          73,
          42,
          23,
          14,
          12
        ],
        "rates": [
          60.83333333333333,
          35.0,
          19.166666666666668,
          11.666666666666666,
          10.0
        ],
        "completed_levels": 164,
        "completion": 27.333333333333332,
        "tokens_M": 390.92,
        "time_h": 80.3,
        "cost_USD": 16.18
      }
    },
    {
      "harness": "Hermes-Agent",
      "model": "DeepSeek V4 Pro",
      "t1": {
        "counts": [
          68,
          33,
          18,
          7,
          5
        ],
        "rates": [
          56.666666666666664,
          27.500000000000004,
          15.0,
          5.833333333333333,
          4.166666666666666
        ],
        "completed_levels": 131,
        "completion": 21.833333333333332,
        "tokens_M": 312.56,
        "time_h": 25.7,
        "cost_USD": 44.81
      },
      "t2": {
        "counts": [
          67,
          40,
          24,
          17,
          16
        ],
        "rates": [
          55.833333333333336,
          33.33333333333333,
          20.0,
          14.166666666666666,
          13.333333333333334
        ],
        "completed_levels": 164,
        "completion": 27.333333333333332,
        "tokens_M": 685.93,
        "time_h": 85.0,
        "cost_USD": 96.51
      }
    },
    {
      "harness": "Hermes-Agent",
      "model": "GLM 5.3",
      "t1": {
        "counts": [
          72,
          33,
          16,
          9,
          5
        ],
        "rates": [
          60.0,
          27.500000000000004,
          13.333333333333334,
          7.5,
          4.166666666666666
        ],
        "completed_levels": 135,
        "completion": 22.5,
        "tokens_M": 290.76,
        "time_h": 41.5,
        "cost_USD": 82.61
      },
      "t2": {
        "counts": [
          75,
          36,
          18,
          9,
          6
        ],
        "rates": [
          62.5,
          30.0,
          15.0,
          7.5,
          5.0
        ],
        "completed_levels": 144,
        "completion": 24.0,
        "tokens_M": 320.54,
        "time_h": 48.9,
        "cost_USD": 102.58
      }
    },
    {
      "harness": "OpenClaw",
      "model": "Gemini 3.7 Flash",
      "t1": {
        "counts": [
          58,
          29,
          15,
          7,
          3
        ],
        "rates": [
          48.333333333333336,
          24.166666666666668,
          12.5,
          5.833333333333333,
          2.5
        ],
        "completed_levels": 112,
        "completion": 18.666666666666668,
        "tokens_M": 323.78,
        "time_h": 16.3,
        "cost_USD": 182.65
      },
      "t2": {
        "counts": [
          71,
          39,
          19,
          8,
          7
        ],
        "rates": [
          59.166666666666664,
          32.5,
          15.833333333333332,
          6.666666666666667,
          5.833333333333333
        ],
        "completed_levels": 144,
        "completion": 24.0,
        "tokens_M": 524.45,
        "time_h": 23.77,
        "cost_USD": 212.33
      }
    },
    {
      "harness": "OpenClaw",
      "model": "Doubao-Seed-Evolving",
      "t1": {
        "counts": [
          48,
          18,
          10,
          6,
          5
        ],
        "rates": [
          40.0,
          15.0,
          8.333333333333332,
          5.0,
          4.166666666666666
        ],
        "completed_levels": 87,
        "completion": 14.499999999999998,
        "tokens_M": 150.83,
        "time_h": 33.1,
        "cost_USD": 32.6
      },
      "t2": {
        "counts": [
          58,
          32,
          19,
          10,
          8
        ],
        "rates": [
          48.333333333333336,
          26.666666666666668,
          15.833333333333332,
          8.333333333333332,
          6.666666666666667
        ],
        "completed_levels": 127,
        "completion": 21.166666666666668,
        "tokens_M": 172.62,
        "time_h": 31.3,
        "cost_USD": 40.5
      }
    },
    {
      "harness": "OpenClaw",
      "model": "Qwen3.8-Max",
      "t1": {
        "counts": [
          72,
          22,
          11,
          2,
          2
        ],
        "rates": [
          60.0,
          18.333333333333332,
          9.166666666666666,
          1.6666666666666667,
          1.6666666666666667
        ],
        "completed_levels": 109,
        "completion": 18.166666666666668,
        "tokens_M": 227.52,
        "time_h": 52.42,
        "cost_USD": 92.51
      },
      "t2": {
        "counts": [
          78,
          24,
          13,
          2,
          2
        ],
        "rates": [
          65.0,
          20.0,
          10.833333333333334,
          1.6666666666666667,
          1.6666666666666667
        ],
        "completed_levels": 119,
        "completion": 19.833333333333332,
        "tokens_M": 245.38,
        "time_h": 58.42,
        "cost_USD": 101.54
      }
    },
    {
      "harness": "OpenClaw",
      "model": "Hy3",
      "t1": {
        "counts": [
          38,
          9,
          5,
          4,
          3
        ],
        "rates": [
          31.666666666666664,
          7.5,
          4.166666666666666,
          3.3333333333333335,
          2.5
        ],
        "completed_levels": 59,
        "completion": 9.833333333333332,
        "tokens_M": 190.89,
        "time_h": 20.4,
        "cost_USD": 10.27
      },
      "t2": {
        "counts": [
          45,
          15,
          9,
          8,
          7
        ],
        "rates": [
          37.5,
          12.5,
          7.5,
          6.666666666666667,
          5.833333333333333
        ],
        "completed_levels": 84,
        "completion": 14.000000000000002,
        "tokens_M": 198.8,
        "time_h": 26.1,
        "cost_USD": 11.95
      }
    },
    {
      "harness": "OpenClaw",
      "model": "DeepSeek V4 Pro",
      "t1": {
        "counts": [
          37,
          13,
          8,
          6,
          4
        ],
        "rates": [
          30.833333333333336,
          10.833333333333334,
          6.666666666666667,
          5.0,
          3.3333333333333335
        ],
        "completed_levels": 68,
        "completion": 11.333333333333332,
        "tokens_M": 159.21,
        "time_h": 24.7,
        "cost_USD": 32.14
      },
      "t2": {
        "counts": [
          36,
          8,
          7,
          5,
          4
        ],
        "rates": [
          30.0,
          6.666666666666667,
          5.833333333333333,
          4.166666666666666,
          3.3333333333333335
        ],
        "completed_levels": 60,
        "completion": 10.0,
        "tokens_M": 208.87,
        "time_h": 32.7,
        "cost_USD": 48.1
      }
    },
    {
      "harness": "OpenClaw",
      "model": "GLM 5.3",
      "t1": {
        "counts": [
          32,
          5,
          0,
          0,
          0
        ],
        "rates": [
          26.666666666666668,
          4.166666666666666,
          0.0,
          0.0,
          0.0
        ],
        "completed_levels": 37,
        "completion": 6.166666666666667,
        "tokens_M": 184.75,
        "time_h": 14.6,
        "cost_USD": 73.46
      },
      "t2": {
        "counts": [
          33,
          17,
          11,
          5,
          3
        ],
        "rates": [
          27.500000000000004,
          14.166666666666666,
          9.166666666666666,
          4.166666666666666,
          2.5
        ],
        "completed_levels": 69,
        "completion": 11.5,
        "tokens_M": 190.64,
        "time_h": 25.6,
        "cost_USD": 80.5
      }
    }
  ]
}