公司未經核准登記就開始經營有什麼責任

公司未經核准登記就開始經營有行政責任。
根據《中華人民共和國企業法人登記管理條例施行細則》第六十條規定，未經核准登記擅自開業從事經營活動的，責令終止經營活動，沒收非法所得，處以非法所得額3倍以下的罰款，但最高不超過3萬元，沒有非法所得的，處以1萬元以下的罰款。