横山は自伝『まいど！横山です ど根性漫才記』を読めば何となくわかるように、独自の根拠に基づいた理屈で行動している人であり、色々なことに一家言のある人物。そういう部分がよくでており、久米の力によって、いままでにない魅力が引き出されていた。
ただ、その私にとっての幸福な時間は徐々にほつれだし、ある日突然終わってしまう。
日曜日は横山にとって趣味のパワーボートレースに参加しなければならない日であり、収録ギリギリにスタジオ入りすることが常になっていたし、放送中に暴言ととられることを吐くこともあったが、それはある程度おりこみ済みであっただろうし、本質的な問題ではなかっただろう。
横山は番組が続くにつれ、まともにトークするのではなく場を混ぜっ返すような奇行にでたり、遅刻したり、突如欠席したり、まともに話ができないような酔った状態で番組にでるようになる。そういったハプニング性も面白い時はあったのだが、ああいうのはたまにだからいいのであって、連続するようになり、それしかない状態になってしまうとつまらなくなってしまう。
つらい時間が多くなったころ、1984年11月に横山は無断欠席を理由に局幹部から降板させられ、番組は1985年3月に終了。
横山降板以降の数か月はあのねのねの清水国明等を横山ポジションに据えながら続いていたが全盛期の番組と比べると非常につまらない感じになっていた。しかし、番組終了は不人気によるものではなく、人気の衰える前に辞めたいというオフィス・トゥー・ワンの方針によるものだという。『ニュースステーション』の構想がすでにスタートしていたことも関係しているのかもしれない。そういえば、『久米宏のTVスクランブル』が『ニュースステーション』に影響を与えているということが言われている。
