(with) that being said, あるいは having said that
とは言ったものの、そうは言っても
withを冒頭に入れて使う場合もあれば、that being saidとだけいう場合と両方ありますが、あることを説明したあとで、それと対照的な意見をを述べるときによく使われる英語の言い回しです。
具体例はこんな感じです。
You can learn many things on the job. That being said, I think you should finish school. (仕事をしながら、多くのことが学べると思う。とは言ったものの、学校はちゃんと卒業すべきだと思う）