確かに形のない商品ですので特許などでプロテクトするのは難しいですね。

同業種の起業や同業他社への転職をする場合は会社と相談するように、誓約書を書かせるのが良いでしょう。

退職時ですと拒否されることがありますので出来れば入社時に誓約書を取ることをお勧めします。

もちろん誓約書を取って裁判に勝てるという保証はありませんが、ないよりあった方がいいでしょう。従業員のモラルにも訴えることもでき、上記の問題が起こる確率は少なくなります。

就業規則にも同業種の起業・転職についての項目を明記して、顧客名簿・テキストなど形のあるものは全て返還させるようにしましょう。

ただし、完全に同業種の起業や転職を禁止すると憲法の「職業選択の自由」に抵触することもあるので注意も必要です。

退職金については退職金規定などで金額を制限することも可能です。
（ただし中退共など自由度が低い運用商品を利用していると難しいでしょう）