Điểm trên OWASP Benchmark
OWASP Benchmark là bộ chuẩn công khai gồm 2,740 ca có đáp án (một nửa là lỗ hổng thật, một nửa là "bẫy" đã an toàn). Bộ quét được chấm khách quan trên chính bộ này.
Điểm mạnh của VinBS: Precision 90.9% và FPR 7.5% — rất ít báo nhầm, đỡ làm phiền lập trình viên.
So sánh trên cùng bộ chuẩn (Java v1.2)
Xếp theo Youden's J. Chỉ dòng VinBS là tự đo; các dòng khác là số công bố của bên thứ ba/nhà cung cấp.
| Công cụ | Youden's J | Recall | Precision | FPR | Nguồn |
|---|---|---|---|---|---|
| VinBS Scanner tự đo | 62.6 | 70% | 90.9% | 7.5% | Tự đo trên OWASP Benchmark |
| Semgrep CE (auto rules) | 47.7 | 89.96% | 69.45% | 42.26% | QASecClaw, 5/2026 |
| FindBugs + FindSecBugs 1.4.6 | 43.76 | 96.82% | 66.09% | 53.06% | OWASP Scorecard v1.2 |
| SonarQube Java plugin v3.14 | 32.26 | 42.9% | 81.15% | 10.64% | OWASP Scorecard v1.2 |
| CodeQL 2.23.7 | 28.8 | 97% | 60.3% | 68.2% | Sifting the Noise, 1/2026 |
| Trung bình 6 tool SAST thương mại | 25.5 | — | — | — | OWASP Commercial Baseline |
Lưu ý trung thực: đây không phải bài chạy đối đầu đồng nhất — các số của công cụ khác là do bên thứ ba hoặc chính nhà cung cấp công bố (khác cấu hình luật, harness, thời điểm). Chúng tôi chỉ trích dẫn để tham chiếu, và chỉ chịu trách nhiệm cho con số tự đo của VinBS. VinBS vượt mức trung bình công cụ SAST thương mại (25.5) và nhiều công cụ mã nguồn mở trên cùng thước đo.
Chi tiết theo nhóm lỗ hổng (VinBS)
| Nhóm | Recall | Precision | FPR | Youden's J |
|---|---|---|---|---|
| Command Injection | 57.9% | 85.9% | 9.6% | 48.3 |
| Mật mã yếu | 55.4% | 100% | 0% | 55.4 |
| Băm yếu | 69% | 100% | 0% | 69 |
| LDAP Injection | 55.6% | 93.8% | 3.1% | 52.4 |
| Path Traversal | 69.2% | 88.5% | 8.9% | 60.3 |
| Cookie an toàn | 100% | 100% | 0% | 100 |
| SQL Injection | 70.2% | 88% | 11.2% | 59 |
| Trust Boundary | 62.7% | 85.2% | 20.9% | 41.7 |
| Ngẫu nhiên yếu | 100% | 100% | 0% | 100 |
| XPath Injection | 40% | 85.7% | 5% | 35 |
| XSS | 59.8% | 79.5% | 18.2% | 41.6 |
Chấm trên OWASP Benchmark v1.2 · cập nhật 2026-09-21 · 991 bắt đúng / 99 báo nhầm / 424 bỏ sót / 1226 loại đúng bẫy.