男方有暴力能要回撫養權嗎

可以的。夫妻離婚後的任何時間內，一方或雙方的情況或撫養能力發生較大變化，均可提出變更子女撫養權的要求。變更子女撫養權一般先由雙方協商確定，如協議不成，可通過訴訟請求人民法院變更。
《民法典》（自2021年1月1日起施行)第一千零八十四條 父母與子女間的關係,不因父母離婚而消除。離婚後,子女無論由父或者母直接撫養,仍是父母雙方的子女。
離婚後,父母對於子女仍有撫養、教育、保護的權利和義務。
離婚後,不滿兩週歲的子女,以由母親直接撫養為原則。已滿兩週歲的子女,父母雙方對撫養問題協議不成的,由人民法院根據雙方的具體情況,按照最有利於未成年子女的原則判決。子女已滿八週歲的,應當尊重其真實意願。