如果用户满足了交通银行信用卡的相关年费减免条件，那么已经收取的500年费是可以退回来的。

如果用户不满足年费减免条件，而且事后也并没有申请补刷减免年费，那么已经收取的500年费是不能退回来的。因此，用户在用卡时，可以尽量试着去达成年费的减免条件。