我国税法对扣缴义务人的扣缴义务都做了规定，如果扣缴义务人应扣未扣或扣而不解缴的，扣缴义务人需要承担相应的税务行政责任，有些情形下还需承担刑事责任。

大致分为两类，应扣未扣责任和扣而不缴责任。

对于应扣未扣的税收征管法第69条规定，扣缴义务人应扣未扣、应收而不收税款的，由税务机关向纳税人追缴税款，对扣缴义务人处应扣未扣、应收未收税款50%以上3倍以下的罚款。

对于扣而不缴的税收征收管法第32条规定，扣缴义务人未按照规定期限解缴税款的，税务机关除责令限期缴纳外，从滞纳税款之日起，按日加收滞纳税款5‱的滞纳金。

 税收征管法第63条第2款规定，扣缴义务人不缴或者少缴已扣税款，由税务机关追缴其不缴或者少缴的税款、滞纳金，并处不缴或者少缴的税款50%以上5倍以下的罚款；构成犯罪的，依法追究刑事责任。

相比较对应扣未扣应承担税务行政处罚责任，但如果扣缴义务人扣而不缴的，扣缴义务人应当承担补缴税款、追加滞纳金和税务行政处罚的责任。

另外对于扣而不缴的，按照刑法第201条规定，“纳税人采取欺骗、隐瞒手段进行虚假纳税申报或者不申报，逃避缴纳税款数额较大并且占应纳税额百分之十以上的，处三年以下有期徒刑或者拘役，并处罚金；数额巨大并且占应纳税额百分之三十以上的，处三年以上七年以下有期徒刑，并处罚金。扣缴义务人采取前款所列手段，不缴或者少缴已扣、已收税款，数额较大的，依照前款的规定处罚。”如果采取欺骗、隐瞒手段进行虚假纳税申报或者不申报，逃避缴纳税款的还将面临刑事处罚。

对于少则50%多则5倍的罚款，可以看出扣缴义务人的责任重大面对巨额罚款，纳税人在支付款项时，应当注意扣缴义务，及时履行，避免遭受重大损失。