自己発送で販売している物が返品されてきましたが、類似の他社販売品でした。

FBAラベルもついていて、明らかに間違えているのですが、購入者は「間違えていない」「それが送られてきた。そっちが入れ間違えたんだろう」で譲る気配がありません。

悪意の返品と決めつける前に、購入者を納得させるための説明が不足しているように思えます。購入者は先入観を持って決めつけているので、その見方を覆すのは簡単ではありません。が、FBAラベルであったり、「見た目が明らかに異なる」証拠が揃っているのであれば、話し方次第ではその決めつけを覆す事は十分可能です。そのためには質問者さんが冷静に、穏やかに対応し、論理的に説明して購入者に「ひょっとしたら自分の間違いかもしれない」と思わせるまで購入者の心理を落ち着かせる事が必要です。そのためには購入者の言い分を間違いと決めつけたり責めたりする事なく、まずは相手の言い分をいったん聞き入れるような対応をする事です。

もちろん、どんなに努力しても態度を変えない購入者はいますし、質問者さんは実際に丁寧な対応をとられたのかもしれません。が、証拠が揃っている状態では、最終的に意見の食い違いが解消されなくとも質問者さんが「勝つ」事は明白なので、もう少し余裕を持って対応したらよいかと思います。相手との交渉が膠着状態になれば、マケプレ申請に誘導し、Amazonの裁定を仰げばいい話です。

2.販売はケーブル類なのですが、本体(うちで販売品ではない)側が動作不良になるとの理由です。間違えて送られてきたものも同趣旨のケーブルですが、

うちの商品(電源ケーブル)はある機器への適合をうたって販売していますが，

通常、「電源ケーブル」と呼ぶ場合は、コンセントからACアダプタや機器の電源部に接続する2Pや3Pの電源コードを指す場合が多いと思います。

本体との適合性など、質問者さんの文言から見ると電源ケーブルというより、USB-CなどUSB給電型などのケーブル、もしくは車載用電子機器に接続するための電源ケーブルのように思えます。もう少し具体的に商品の種類を示していただいた方が正確に製品をイメージできるかと思います。

1.返品は承諾しています。元払いで送るようにお願いして、その通り送ってきました。

基本的に返送は着払いなのですが、なぜ元払いだったのでしょうか。

悪意による返品であれば、FBAのラベルを残すような「ヘマ」はしないでしょうし、元払は承諾せず着払いで返送します。

間違えて送られてきたものも同趣旨のケーブルですが、私のものは適合を明示していますが、間違えたものはネット上で「ギリ使える」と噂されているもので、実際は無理やりの使用です。

うちの商品(電源ケーブル)はある機器への適合をうたって販売していますが間違えて送られてきた他社品はネット上で適合するとウワサされている物で，私も実際に使用してみましたが無理矢理感があり，使用感が悪いです．

「適合をうたって販売する」「他社品はネット上で適合するとウワサされている」では、
失礼ながら、製品の違いが主観的な表現で第三者から見て違いがよくわかりません。

「無理やりの使用」「ギリ使える」
->何がどのように無理やりなのか、ギリ使えるのがわかりません。例えばケーブル長がギリギリだとか、具体的にはどのような状態なのでしょうか。

今回の商品、いくらの商品なのでしょう。

価格ではない、悪質な返品だと憤る気持ちもわかりますが、購入者は色々な人がいます。
複数の類似商品を購入して商品の見分けがつかなくなる人もいます。
Amazonに慣れていない人もいます。

本当に悪質な返品はこんな程度のものではすみません。

気持ちに余裕をもって冷静に対応する事です。