Evidentemente sí que puedes, pero tendrás que pagar todas las comisiones que contemple la entidad financiera para estos casos y que hayas firmado en su día.
Lo que tienes que hacer es leer bien el contrato que firmaste y ver si realmente te interesa tanto el cambio de entidad. Aunque supongo que esto ya lo habrás tenido en cuenta.