贷款人不还钱的时候，担保人无法解除担保。之所以在贷款人进行借贷业务办理时需要设置担保人，是因为担保人能够在贷款人不履行还款责任的时候承担还款责任。

一般而言，担保人担保证责任的时候贷款人拒绝还款，担保人可以不承担相应责任；但如果是连带保证，则担保人需要在保证范围担责。