如果你的建行信用卡被扣了580元的年费的话，证明你这张卡是标准白金卡，建设银行标准白金卡的年费是可以刷免的。如果没有刷够次数，会被扣除年费。

如果想要被扣除的580元年费退还回来的话，是可以进行补刷的。被扣除的年费会在你补刷后的次月月底前退还到你的卡里。