Reddit API: 投稿を失わずに取得する方法

要点

Redditの公式APIを使用することは、良い意図から始まり、レート制限エラー、ページネーションの頭痛、OAuthトークンの疲労で終わることがよくあります。そして、現実が訪れます。このプロセスは、認証のハードルを乗り越え、厳しいクエリ制限に対処し、最新の1,000件の投稿を超える過去のデータは単に手の届かないものであることを受け入れることを含みます。おそらく、それは遠い銀河にあります。

そこで、サードパーティのソリューションがあなたの肩を貸し、プロジェクトを続行できるようにします。その中でも、Data365のソーシャルメディアAPIは、少し広い代替の道を提供し、途中の信号機が少なくなっています。

Reddit APIでの投稿取得：基礎を理解する

公式APIを使って単一のReddit投稿を取得するのは、特別難しいことではありませんが、いくつかの要素が関わっています。大規模なデータ収集に飛び込む前に、これは出発点であり、Reddit API呼び出しの「Hello World」です。

Redditでは、投稿を「サブミッション」と呼び、1つを呼び出すと、APIは投稿ID、タイトル、本文（テキスト投稿の場合はselftext）、著者、パーマリンク、スコア、コメント数、作成タイムスタンプ、NSFWかどうかや、特別な（モデレーター/管理者作成）フラグなどの基本情報を含むJSONペイロードで応答します。

単一の投稿を取得するための主なルートは2つあります：

直接検索 /api/infoを使用する方法：
投稿の完全な「フルネーム」ID（t3_プレフィックスと投稿のユニークID、例えばt3_abc123）が必要です。

API呼び出しの例：

GET https://oauth.reddit.com/api/info?id=t3_abc123

サブレディットベースの検索 /r/{subreddit}/comments/{post_id}を使用する方法：
この方法では、サブレディットと投稿IDを指定して投稿を取得できます。

API呼び出しの例：

GET https://oauth.reddit.com/r/python/comments/abc123

どちらのアプローチでも、同じ結果が得られます：Redditの標準API応答形式でラップされた単一の投稿です。

ただし、どちらの呼び出しを行う前に、OAuth2認証を設定しておく必要があります（必要であれば、Reddit APIアクセスの完全なストーリーを読むことができます）。これには、Redditの開発者ポータルでアプリを登録し、クライアントID、クライアントシークレットを取得し、リダイレクトURIを設定することが含まれます（ローカルテスト用には、http://localhost:8080のようなものが適しています）。

アプリが設定されたら、OAuth資格情報を使用してアクセストークンをリクエストし、正しいAuthorizationヘッダーと説明的なUser-Agent文字列を使用してoauth.reddit.comにAPIリクエストを送信します（RedditのAPIチームはこれを重視しています）。

Pythonユーザー向けには、PRAWのようなライブラリがほとんどのOAuthとリクエストフォーマットを処理してくれるため、単一投稿の取得が非常に簡単になります：

この単一投稿の取得をマスターすることが第一歩です。この部分がしっかりしていれば、サブレディット全体や大量データの収集にスケールアップするのがずっと簡単になります。まさに次に進むべきところです。

Reddit API: サブレディットからすべての投稿を取得する方法

では、サブレディットからすべての投稿を取得する方法はどうなっているのでしょうか？APIコールをサブレディットに向けて、結果をページネートすれば、すぐに始められます。しかし…そう簡単ではありません。

公式のReddit APIでは、/r/{subreddit}/new, /r/{subreddit}/top, /r/{subreddit}/hotのようなエンドポイントを使用して、サブレディットから投稿をリストすることができます。各コールでは、一度に最大100件の投稿を取得でき、afterおよびbeforeパラメータを使用して慎重にページネートすることで、さらに多くの投稿を取得することができます。しかし、ここに内蔵された制限があります：どのように切り取っても、1,000件の投稿の壁にぶつかりますが、一度に一つずつ進めていきましょう。

これを読むだけで頭が痛くなってきましたか？幸いなことに、Reddit API Get PostはRedditデータにアクセスする唯一の方法ではありません。たとえば、Data365は、一般的なAPIの問題に悩まされることなく、必要なインサイトを得るための代替ソリューションを提供しています。

どのように機能するか気になりますか？ただお問い合わせフォームに記入していただければ、私たちのソリューションがどのようにプロジェクトのニーズをサポートできるかを喜んで説明いたします。

Reddit API: サブレディット内の投稿を取得するか、1,000投稿制限版

さて、あなたはRedditの投稿を取得する方法を理解しました。おめでとうございます。しかし、まだ半分も達成していません。特定のサブレディットからの研究、分析、またはモデレーションのために、全体のバッチ、つまりすべてを取得することが、Redditの公式APIがその内蔵ガードレールを示し始めるところです。

まず、1,000投稿の上限について話しましょう。これはほぼすべての開発者がいつかは引っかかる厳しい制限です。どのリスティングエンドポイントを使用しても（/new、/top、/hotなど）、Redditは最新の約1,000投稿でクローリングを制限します。afterやbeforeでページネーションを行ったり、ソート順を変更したりしても、壁は動きません。古いコンテンツが欲しいですか？それは無理です、少なくともReddit APIを通しては。

さらに「もっと面白く」するために、Redditは日付範囲フィルタリングを提供していないため、特定の期間の投稿をAPIに要求することすらできません。このAPIは、ライブコンテンツの消費を念頭に置いて構築されており、大量の履歴データへのアクセスを目的としていません。この設計選択は交渉の余地がなく、無料および有料のAPIユーザーに同様に影響します。

そして、NSFWコンテンツの完全なブロックもあります。2023年中頃から、RedditのAPIはサードパーティアプリからのNSFW投稿とコメントを完全にブロックしています。ログインしていても、適切なOAuthスコープがあっても、研究や学術目的であっても、Redditのコミュニティの約20%がこのカテゴリに該当します。もちろん、すべてのプロジェクトがこれを感じるわけではありませんが、もしそれらのサブレディットから正確なデータが必要な場合、それはかなり大きな盲点です。

しかし、開発者は代替手段が存在しなければ開発者ではありません。複数のソート（new、top、controversial）を組み合わせて異なるスライスをスクレイピングし、さらに数百のユニークな投稿を絞り出すことができます。または、Redditの/searchendpointに頼ることもできますが、日付フィルタがないため、包括的な情報を引き出すことは依然として不可能です。

そして、Pushshiftのようなレガシーデータアーカイブを使用したり、サブレディットの履歴のトレントダンプをダウンロードしたりすることもできますが、将来的に待ち受けるすべての問題を考慮すると、それらを試す価値はあるのでしょうか？古いコンテンツ、最近の投稿が欠落していること、そして時には始めるためにテラバイトのストレージが必要になることは、続ける気を削ぐ要因となります。

また、認証されていない場合は10分あたり100リクエスト、OAuthを使用している場合は10分あたり1,000リクエストというレート制限を忘れないでください。ペース配分を忘れると、気づく前に恐ろしいHTTP 429エラーに直面することになります。

小規模なモニタリングや軽量プロジェクトの場合、Reddit APIは、ターゲットがその1,000投稿のウィンドウ内にきれいに収まり、NSFWコンテンツに触れない限り、まだ問題なく機能します。しかし、実際の歴史的分析、トレンド研究、または機械学習のトレーニングデータセットを目指す場合、ほぼ確実にRedditの公式ツールを超えたものを探す必要があります。

要するに、サブレディットレベルのアクセスは紙の上では素晴らしいように思えますが、実際には厳しい制約と低い上限に満ちています。

Data365でReddit投稿を取得：選択するためのよりスマートな方法としてのAPI

Reddit投稿を取得する方法はいくつかあります。目的やリソースに応じて、プロジェクトを真にサポートする方法を選択できます。ここでは、Data365のソーシャルメディアAPIがあなたに何を提供できるかを見てみましょう。

Data365のパイプラインは、管理されたインフラストラクチャ上に構築されています。つまり、オートスケーリングと実際に読みやすい構造化された出力が提供され、インポートする前に何時間もクリーンアップする必要がないということです。

これは、Reddit APIを完全に置き換えることではありません。公式エンドポイントは、リアルタイムタスクや軽量なジョブには依然として重要な役割を果たします。しかし、開発時間を数時間節約し、実際のビジネスのためにReddit投稿データを解放したい場合、Data365は単なる代替手段ではなく、実用的な次のステップとなります。

以下の点を期待できます：