Benchmarks

Policy enforcement overhead is benchmarked in model_b_test.go. Testing environment:

Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz, 2601 Mhz, 4 Core(s), 8 Logical Processor(s)

Results from go test -bench=. -benchmem (op = one Enforce() call, ms = millisecond, KB = kilobytes):

Testfall	Regelgröße	Zeit-Overhead (ms/op)	Speicher-Overhead (KB)
ACL	2 Regeln (2 Benutzer)	0.015493	5.649
RBAC	5 Regeln (2 Benutzer, 1 Rolle)	0.021738	7.522
RBAC (klein)	1100 Regeln (1000 Benutzer, 100 Rollen)	0.164309	80.620
RBAC (mittel)	11000 Regeln (10000 Benutzer, 1000 Rollen)	2.258262	765.152
RBAC (groß)	110000 Regeln (100000 Benutzer, 10000 Rollen)	23.916776	7,606
RBAC mit Ressourcenrollen	6 Regeln (2 Benutzer, 2 Rollen)	0.021146	7.906
RBAC mit Domänen/Mandanten	6 Regeln (2 Benutzer, 1 Rolle, 2 Domänen)	0.032696	10.755
ABAC	0 Regel (0 Benutzer)	0.007510	2.328
RESTful	5 Regeln (3 Benutzer)	0.045398	91.774
Deny-override	6 Regeln (2 Benutzer, 1 Rolle)	0.023281	8.370
Priorität	9 Regeln (2 Benutzer, 2 Rollen)	0.016389	5.313

Policy enforcement overhead in Pycasbin is benchmarked in tests/benchmarks. Testing environment:

Intel(R) Xeon(R) CPU E5-2673 v4 @ 2.30GHz (Run by Github actions)
platform linux -- Python 3.11.4, pytest-7.0.1, pluggy-1.2.0

Results from executing casbin_benchmark (op = one enforce() call, ms = millisecond):

Testfall	Regelgröße	Zeit-Overhead (ms/op)
ACL	2 Regeln (2 Benutzer)	0.067691
RBAC	5 Regeln (2 Benutzer, 1 Rolle)	0.080045
RBAC (klein)	1100 Regeln (1000 Benutzer, 100 Rollen)	0.853590
RBAC (mittel)	11000 Regeln (10000 Benutzer, 1000 Rollen)	6.986668
RBAC (groß)	110000 Regeln (100000 Benutzer, 10000 Rollen)	77.922851
RBAC mit Ressourcenrollen	6 Regeln (2 Benutzer, 2 Rollen)	0.106090
RBAC mit Domänen/Mandanten	6 Regeln (2 Benutzer, 1 Rolle, 2 Domänen)	0.103628
ABAC	0 Regel (0 Benutzer)	0.053213
RESTful	5 Regeln (3 Benutzer)	NA
Deny-override	6 Regeln (2 Benutzer, 1 Rolle)	NA
Priorität	9 Regeln (2 Benutzer, 2 Rollen)	0.084684

Policy enforcement overhead in Casbin CPP is benchmarked in tests/benchmarks using Google's benchmarking tool. Testing environment:

Intel(R) Core(TM) i5-6300HQ CPU @ 2.30GHz, 4 cores, 4 threads

Results from executing the casbin_benchmark target built in Release configuration (op = one enforce() call, ms = millisecond):

Testfall	Regelgröße	Zeit-Overhead (ms/op)
ACL	2 Regeln (2 Benutzer)	0.0195
RBAC	5 Regeln (2 Benutzer, 1 Rolle)	0.0288
RBAC (klein)	1100 Regeln (1000 Benutzer, 100 Rollen)	0.300
RBAC (mittel)	11000 Regeln (10000 Benutzer, 1000 Rollen)	2.113
RBAC (groß)	110000 Regeln (100000 Benutzer, 10000 Rollen)	21.450
RBAC mit Ressourcenrollen	6 Regeln (2 Benutzer, 2 Rollen)	0.03
RBAC mit Domänen/Mandanten	6 Regeln (2 Benutzer, 1 Rolle, 2 Domänen)	0.041
ABAC	0 Regel (0 Benutzer)	NA
RESTful	5 Regeln (3 Benutzer)	NA
Deny-override	6 Regeln (2 Benutzer, 1 Rolle)	0.0246
Priorität	9 Regeln (2 Benutzer, 2 Rollen)	0.035

Policy enforcement overhead in Lua Casbin is benchmarked in bench.lua. Testing environment:

AMD Ryzen(TM) 5 4600H CPU @ 3.0GHz, 6 Cores, 12 Threads

Results from running luajit bench.lua (op = one enforce() call, ms = millisecond):

Testfall	Regelgröße	Zeit-Overhead (ms/op)
ACL	2 Regeln (2 Benutzer)	0.0533
RBAC	5 Regeln (2 Benutzer, 1 Rolle)	0.0972
RBAC (klein)	1100 Regeln (1000 Benutzer, 100 Rollen)	0.8598
RBAC (mittel)	11000 Regeln (10000 Benutzer, 1000 Rollen)	8.6848
RBAC (groß)	110000 Regeln (100000 Benutzer, 10000 Rollen)	90.3217
RBAC mit Ressourcenrollen	6 Regeln (2 Benutzer, 2 Rollen)	0.1124
RBAC mit Domänen/Mandanten	6 Regeln (2 Benutzer, 1 Rolle, 2 Domänen)	0.1978
ABAC	0 Regel (0 Benutzer)	0.0305
RESTful	5 Regeln (3 Benutzer)	0.1085
Deny-override	6 Regeln (2 Benutzer, 1 Rolle)	0.1934
Priorität	9 Regeln (2 Benutzer, 2 Rollen)	0.1437

Benchmark-Überwachung

The embedded page below displays Casbin's performance across commits.