买卖双方解除房屋买卖合同，还是应当按照合同约定支付中介费。根据法律规定，中介人促成合同成立的，委托人应按照约定支付相应报酬，但如果房屋买卖合同因中介人的过错解除的，委托人可以要求中介人退还收取的中介费。
法律依据
《中华人民共和国民法典》第九百六十三条
中介人促成合同成立的，委托人应当按照约定支付报酬。对中介人的报酬没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，根据中介人的劳务合理确定。因中介人提供订立合同的媒介服务而促成合同成立的，由该合同的当事人平均负担中介人的报酬。
中介人促成合同成立的，中介活动的费用，由中介人负担。
