1ファイルで 100MB 以上になる様なファイルの Push を受け付けていない。Git LFSとは別の話。 誤ってコミットしてしまった場合はコミット履歴から消してしまえば良いです。
git rm --cached Filename
git commit --amend -CHEAD
git filter-branch --index-filter 'git rm --cached --ignore-unmatch Filename' HEAD
git push origin master
これで Push できる状態に回復します。