Magneticがデータ365のAPIを活用して不安定なスクレイパーを置き換えた方法

信頼できるソーシャルリスニングは信頼できるデータから始まる

すべてのソーシャルリスニングプラットフォームは、同じ基盤に依存しています。それは、公的なソーシャルメディアデータの安定した流れです。ダッシュボードがトレンドを表示し、感情を分析し、ブランドがオンラインの会話に応答する前に、関連する投稿をまず収集する必要があります。

Magneticにとって、その収集レイヤーを維持することは、ますますエンジニアリングの課題となっていました。内部のスクレイパーを稼働させるために時間を投資し続けるのではなく、同社はData365 Social Media APIをソーシャルリスニングプラットフォームであるQuanticoに統合するという別のアプローチを選びました。

スクレイパーの維持に関する課題

内部のスクレイパーは、必要なデータへの初期アクセスを提供できますが、それを稼働させ続けることは時間とともに継続的な技術的負担となります。

ソーシャルメディアプラットフォームの頻繁な変更が根本的な原因です。ページ構造、アクセスパターン、または技術的制限の更新は、すべてスクレイパーが予告なしに失敗する原因となります。この種の製品は公的な会話の途切れない流れに依存しているため、収集の中断は監視ワークフローに影響を及ぼし、さらなる分析のために利用可能なデータを制限します。

Magneticは、内部での長期的なメンテナンスの負担を抱えることなく、公的なソーシャルメディアデータを受け取るより信頼できる方法を求めていました。

Data365によるより安定したデータソース

Magneticは、Quanticoのソーシャルリスニング機能をサポートするためにData365 Social Media APIに切り替えました。

Data365がAPIを通じて構造化されたソーシャルメディアデータを提供するため、Magneticは独自のデータ収集インフラを維持することなく、必要な投稿データにアクセスし、それを既存の製品ワークフローにシームレスに統合できます。

• これにより、データ収集とデータ分析の間に明確な区別が生まれます：
  • Data365が公的データへのアクセスと配信を管理します;
  • Magneticはそのデータを処理し、デジタル会話をクライアントにとって有益なインサイトに変換することに集中します。

データが構造化された形式で提供されるため、チームはそれを最初に変換することなく、既存の監視および分析プロセスに組み込むことができます。

信頼できるデータレイヤーがソーシャルリスニングにとって重要な理由

ユーザーが見るダッシュボードは、はるかに大きなプロセスの最終段階を表しています。

すべてのトレンド、感情スコア、または評判アラートは、システムに入る個々の公的投稿から始まります。その受信データが不安定になると、すべての下流機能は扱える情報が減少します。

信頼できるデータ収集は、分析や可視化と同じ注意をほとんど受けませんが、それはそれらの機能が依存する基盤を形成します。より信頼できる収集レイヤーは、エンジニアリングチームに監視、報告、分析機能を構築するためのより強固な基盤を提供し、インフラのメンテナンスに繰り返し戻ることなく済みます。

Magneticにとって、収集レイヤーをData365に移行することは、公的データ収集の責任を内部のエンジニアリングチームから移すことを意味し、Quanticoのコア機能の開発を続けることができました。

統合後の変化

• 統合によりMagneticは次のことを得ました：
  • より信頼性の高いデータフロー：公的投稿データが、同社の以前のスクレイパーよりも一貫して配信されます;
  • エンジニアリングの負担軽減：チームは収集スクリプトの維持やスクレイパーの障害のトラブルシューティングにかける時間が減ります;
  • 構造化されたデータ配信：投稿がMagneticの既存のワークフローに組み込むことができる形式で到着します;
  • コア製品への集中：開発者はQuanticoのソーシャルリスニングおよび分析機能により多くの注意を向けることができます;