JFrogのログ分析をDatadogで

Artifactoryとx光の利用データを追跡することでJFrogプラットフォームの運用を確実なものとすることができます。リアルタイム監視とログ分析によって,DevOpsパイプラインの効率を高め,ソフトウェアのリリースを安心して実行し続けることができます。

Datadogはクラウドスケールのアプリケーション監視サービスをSaaS型のデータ分析プラットフォームとして提供しています。この統合により,JFrog平台の監視を容易に実現することができます。

ここでは,データコレクター統合をインストールし,Datadogを使用してJFrog平台を監視するための2つのステップを見てみましょう。

流利の使用

まず,JFrog上でオ,プンソ,スのデ,タコレクタであるFluentdをElasticsearchとKibanaの統合で利用できるようにしました。FluentdはJFrogプラットフォームの各製品に対するログ入力,フィールドの抽出,レコードの変換を行い,このデータをJSONに変換します。

すべてのログデータを共通フォーマットで利用できるため,Fluentdはプラグインを介して,Datadogダッシュボードにログデータを送信します。

Fluentdのンストル

JFrog平台部署(JPD)の各ノ,ドにFluentdロギング·エ、ジェントを、ンスト、ルする必要があります。このエージェントは様々なJPDログファイルに新しいエントリを追加し、対応するレコードの変換を行い、Fluentdの出力プラグインに送信します。

各ノドにFluentdエジェントをンストルするにはFluentdンストルガドに記載されている通り,osの種類に応じた手順を実施します。

例えばRed Hat Linux无论何时を動作させているノードではFluentdエージェント“td-agentをインストールする必要があります(このOSでは根アクセスが必要です):

$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

$ curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

Red Hat无论何时の空间にインストールする場合はFluentdのRubyと宝石をインストールします:

$ curl -O | tar -xvf

流利の設定

rootユ,ザ,かそれ以外のユ,ザ,かにより,Fluentd設定ファルの配置場所の変更が必要な場合があります。

パッケージマネージャを使用した場合,根ユーザーによるインストールではデフォルトでtd-agent.confファイルは/etc/td-agent/にあります。

$ ls -al /etc/td-agent/td-agent.conf

-rw-r -r - 1 root root 8017 5月11日18:09 /etc/td-agent/td-agent.conf

$ ls -al /etc/td-agent/td-agent.conf -rw-r——r——1 root root 8017 5月11日18:09 /etc/td-agent/td-agent.conf

根ユーザー以外のインストールでは書き込み権限があればtd-agent.confファイルをどこに保存しても構いません。td-agentを実行時,- cフラグを利用してfluentdをこのファイルの場所に指定することができます。

設定ファ@ @ルはJFrog日志分析Github回购から取得した設定ファ@ @ルに置き換える必要があります。

このリポジトリではフォルダに設定ファ▪▪ルのテンプレ▪▪トが含まれています。ノ,ドで実行されているJFrogアプリケ,ションにマッチするテンプレ,トを使用してください:

この設定ファaapl . com Datadog aapl . com匹配ディレクティブで更新する必要があります:

#DATADOG OUTPUT @type DATADOG @id Datadog_agent_Artifactory api_key # optional include_tag_key true dd_source Fluentd #END DATADOG OUTPUT

流利の実行

新しい設定ファイルを設定後にコンテナにログインし,ポッド上のサービスとしてtd-agentを起動することができます:

$ systemctl start td-agent

非根ユーザーによるインストールの場合はtd-agentに設定ファイルを指定して実行することができます:

$ td-agent -c td-agent.conf

これでFluentdのログ·エジェントが起動し,JPDのログをtailしてに送信します。

Artifactoryとx光を実行しているすべてのKubernetesポッドに対して,これらの手順を繰り返す必要があります。

Datadogの利用

Datadogのアカウントを作成してオンボードステップを実行するか,既にアカウントをお持ちの場合はapiKeyを使用して設定することができます。新規にDatadogをセットアップする場合は以下を実施します:

  • KubernetesクラスタでDatadogエ,ジェントを掌舵图でデプロ,して実行
  • ログ収集を有効にする場合,オンボ,ディング手順で指定したDatadog-values。Yamlを更新
  • エージェントがレポートを開始すると,Fluentd経由でフォーマットされたログを送信するために使用するapiKeyを取得
  • 集成からFluentdを検索し,Fluentdを

Datadogの設定後,日志>查询でログにアクセスできます。また,ログを取得したい特定のソ,スを選択することもできます。

apiKeyが存在する場合はDatadog Fluentd插件を使用し,FluentdからDatadogアカウントに直接ログを転送します。適切なメタデ,タを追加することはDatadogでログを最大限に活用するための鍵となります。デフォルトではホスト名タ@ @ムスタンプフィ,ルドは設定されているため,ここでは指定しません。

日志>查询で左ペ@ @ンのfacet >添加からすべての属性をfacetとして追加します

+katrinr@www.si-fil.com这是Datadog沼泽,但Elasticsearch是写在英文博客。

Dashboards > New Dashboard > New screenboardから新しいダッシュボ,ドを作成します

export.jsonからダッシュボドをンポトし,既存の新しいダッシュボドを置換します。データ・ウィジェットを通して表示される情報を含むダッシュボードにアクセスすることで,JFrog统一平台にリアルタイム監視が提供されます。

+katrinr@www.si-fil.com英文博客链接中断。

インストール後JFrog平台日志ダッシュボードに主要な動作メトリクスのタイムラインとカウントデータが表示されます:

  • 可以过滤日志卷,这类型(タイプでフィルター可能なログ・ボリューム)
  • 服务错误(サ,ビスエラ,)
  • HTTP响应码(HTTPレスポンスコ,ド)
  • 已访问的镜像(アクセスされたaapl . exe .メ.ジ)
  • 已访问的存储库(アクセスされたリポジトリ)
  • 在GB上传/下载数据传输(アップロード/ダウンロードされたデータ量(GB))
  • 上传/下载排名前十的IPs(アップロード/ダウンロードが多い上10位件のIPアドレス)
  • 按用户名(ユ,ザ,毎の監査アクション)进行审计操作
  • 否认行为和由IP和登录用户名(IPとユーザー毎の拒否されたアクションとログイン)
  • 接受按用户名部署(ユ,ザ,毎の許可されたデプロ,;)

集約ソリュ,ション

これでDatadogを使用した堅牢なトラッキング・ソリューションが利用可能となり,すべてのサービスとノードに渡ってJFrog平台部署の運用に関するデータの監視が可能となりました。