主人公の少年・芦屋アシベは、近所に住む同級生の阿南スガオととても仲良しだった。だが小学1年のある時、大工職人であるアシベの父ちゃんが建築中の家を火事で燃やしてしまうという事件が起こる。親子はそれまでの一軒家を引き払い、父ちゃんの実家近くである目黒区のアパートへ転居することになり、アシベも転校することとなった。
アパートに移って間もない頃、アシベが道路を歩いていると、通りかかったトラックから白い物体が落ちてきた。魚だと思ったアシベは夕飯にしようと家へ持ち帰る。父ちゃんが台所でさばこうとするが魚ではなさそうで、動物図鑑で調べたところゴマフアザラシの赤ちゃんだと判明する。父ちゃんが「食べられないことはないが、アザラシの赤ん坊はかわいそうだろ」と言うと、アシベが「じゃあ、飼おうぜ!」と言い出し、その子は「ゴマちゃん」と名付けられ、芦屋家の一員として迎え入れられた。
一方、アシベと離れ離れになったスガオは、寂しい日々を過ごすことになる。さらに父の転勤で一家はネパールへ引っ越すことに。そこでは山から下りてきたイエティや、学校に通えないスガオのために家庭教師として雇われた元修行僧などが家に居ついたり、フランス領の架空の島・コラコラ島への転勤が決まったりと、さまざまな騒動が起きる。
やがて阿南家は日本へ戻ることとなり、アシベとスガオの二人はクリスマスの日に無事再会を果たす。