MID Server の最大スレッド数 - Worker Group - Priority と QueueIssue 目次 MID サーバーと ECC キューのサポート 優先度優先度を利用する機能 MID Server および ECC Queue は Priority をサポートする 優先度の高いジョブはキューを飛び越え、より高い優先度のスレッドでより迅速に実行できます。 優先度スレッドグループスレッド数 (デフォルト)パラメーターメモリ内の入力キューJava 優先度work\monitors\ECCSender フォルダープローブの例2 (デフォルト)Standard25threads.max500 (25*Threads)5output_2JDBC, LDAP, Discovery...1Expedited20threads.expedited.max400 (20*Threads)8output_1REST, SOAP0Interactive10threads.interactive.max40 (4*Threads)10output_0HeartbeatProbeSystemCommand: restartService, grabLog など MID Server が ECC Queue から output レコードのバッチを取得すると、より高い優先度のジョブ(priority フィールド値が低いもの)が優先されます。 MID Server は ecc_queue にジョブがある場合、利用可能なスレッド数より多くのジョブを取得します。これらはスレッドが空くまで MID Server メモリ内でキューに保持されます。ECC Queue output レコードは Processing 状態になりますが、実際にスレッドで処理が開始されるまでには時間がかかる場合があります。 注: ECC Queue の Processed timestamp フィールドは、この理由により信頼できません。実際には、MID Server がレコードを取得した時刻を意味するだけであり、ジョブの実行開始時刻ではありません。 優先度の高いジョブは、実行開始後、MID Server アプリケーション内でより多くの CPU 時間を割り当てられます。スレッドプールは異なる Java スレッド優先度にマッピングされており、Java はそのジョブにより多くのリソースを割り当てます。 Java はマルチスレッドプラットフォームであり、利用可能なすべての CPU およびスレッドを使用します。利用可能な限り多くの専用 CPU/Core を持つ専用ホストサーバーまたは VM の使用が推奨されます。そうでない場合、MID Server がほぼアイドル状態のときと比較して、負荷が高い時間帯ではスレッドの実行速度が大幅に低下する可能性があります。 これは、Interactive ジョブが十分に速く完了し、フォーム更新待ちによるユーザートランザクションの遅延を回避したい場合に重要です。 例: Discovery が他のすべてのスレッドで実行されている間は、単一の LDAPListener スレッドによるユーザー更新処理が大幅に遅くなる可能性があります。 Priority は、結果をインスタンスへ返送する際の ECCSender スレッドにも適用されます。これは output_0 フォルダーの一時ファイルを最初に処理し、次に output_1、最後に output_2 を処理します。 例: 大規模な Standard priority の JDBC Import Set が途中まで実行中であっても、Expedited の結果はすべての Import Row がインスタンスへ返送されるまで待機する必要はありません。 JDBCProbe および LDAPProbe を含む、単一 output からの複数の連続 input に使用される output_s フォルダーは、output レコードの priority に従って処理されます(TBC)。 Discovery および Orchestration Probe の場合、ecc_queue input の priority は、その後 Sensor を処理する sys_trigger scheduled job の priority を決定します。 プラットフォーム内のほとんどの Scheduled Job および Async Business Rule は priority 100 であるため、Interactive input はそれらより優先されます。 Discovery は Sensor 処理に Scheduled Job の代わりに System Events を利用するよう設定でき、これによりインスタンスの負荷管理や scheduler worker thread のブロック防止に役立ちます。 ECC キュー優先順位スケジューラーワーカー優先度 (デフォルト)システム プロパティ2110glide.ecc.async.priority.standard1105glide.ecc.async.priority.expedited050glide.ecc.async.priority.interactive 優先度を利用する機能 一般的に、非常に強い理由がない限り、すべて Standard priority で実行するべきです。 Vancouver 時点では、意図的に Standard 以外を設定している機能はごくわずかであり、それらも問題チケットの解決策または原因として設定されていることが多くあります。 Discovery/Service Mapping は、すべての Probe に対して Discovery Status レコードの Priority を使用します。これは Discovery の起動方法によって異なります。 Interactive: Pattern Designer debug mode、Cancel Discovery、XMLStats (PRB1564921)Expedited: Service Mapping、Discover Now、Quick Discovery (PRB1624010)、Standard priority スケジュールの Shazzam port scan probes (PRB1408213)Standard: Scheduled Horizontal Discoveries(Shazzam を除く) MID Server: Interactive: すべての SystemCommands、Test Credentials Orchestration: Expedited: Activity Designer の Test Inputs、Workflow Editor からの workflow 開始、および現在はすべての通常 workflow 実行 (PRB1301862) IntegrationHub Expedited: すべての IPaasActionProbeInteractive: OAuth Token 更新用 RESTProbe Cloud Management Standard: APIProxyProbes CAPI orchestrator Event Management Interactive: Pull Connector(新規イベントを遅延なくインスタンスへ取り込む必要があるため) Change Management Standard: Affected CI の自動 Discovery および手動トリガー Discovery LDAP Expedited: Test Connection および Browse (PRB1331240)Standard: Imports、Listener Release Australia までのリリースおよびそれ以降 Resolution リアルタイムで更新されるユーザーインターフェイス起動ジョブや、ユーザートランザクションの一部として実行される高速統合については、Expedited priority での実行を許可する余地があります。このようなジョブを高い priority で実行することで、ユーザーエクスペリエンスが向上し、応答待ちによるインスタンススレッドのブロックを防止できるため、全体的なインスタンスパフォーマンスの向上につながります。 ecc_queue テーブル上の before insert Business Rule は、特定 output の Priority を引き上げる簡単な方法です。ただし、意図した以上のジョブへ影響を及ぼさないよう、Queue、State、Topic、Name、Source、および Agent Correlator フィールドを条件に必ず含めることが非常に重要です。 しかし多くの場合、そのような統合は本当に非同期で実行した方が適しています。Sensor がバックグラウンドで低 priority ジョブからの最終応答を処理する仕組みであれば、ユーザーのフォームやインスタンススレッドをまったく停止させません。そのようなジョブ専用の MID Server を用意する方が、より良いソリューションとなる場合があります。 統合が本当にリアルタイム性を必要とする場合は、MID Server 経由はおそらく最適なソリューションではありません。Script Include 内で実装された、インスタンスから直接実行する同期 RESTMessageV2 API リクエストが、インスタンスパフォーマンスへ悪影響を与えない限り、依然として最も高速な方法です。 KB0694711 Outbound REST Web Services RESTMessageV2 and SOAPMessageV2 execute() vs executeAsync() Integration Hub の利用も理想的とは言えません。Flow Engine は System Events および Scheduled Jobs を介して実行されるため、通常は遅延が追加され、さらに MID Server との往復による遅延も発生します。 KB1179826 Flows are getting queued or delayed execution MID Server のスループットを改善したい場合は、利用可能な CPU 数だけでなく、スレッド数も考慮する必要があります。多くの Probe は CPU をほとんど使用せず、エンドポイントからの応答待ちのためにスレッドを長時間占有します。Standard thread pool の数を増加させる場合(Windows の制限に到達する前であれば最大 200 まで可能です)、他の thread pool も比例して増加させてください。 threads.max だけを増加させるのではなく、threads.expedited.max および threads.interactive.max も増加させてください。JVM Heap Memory および PowerShell Process 用の Host Memory の拡張も忘れないでください。 Priority は 3 種類しかなく、実際に有効活用できる Priority は 2 種類程度しかないため、複数の高 Priority ジョブ群が互いに影響を及ぼし合うことはよくあります。これは特に、バッチ更新によって大量のジョブが発生した場合に顕著です。 このような状況では、各ジョブ専用の MID Server を割り当てることを検討してください。そうすることで、それらのジョブは他のジョブからの影響を完全に受けないように保護されます。同一ホスト上で複数の MID Server を実行することも可能です。 重要な注意事項: すべての Interactive スレッドが使用中になると、HeartbeatProbe を含む重要な MID Server システムコマンドがブロックされる可能性があります。HeartbeatProbe は、インスタンスが MID Server の稼働状況を確認するために使用されるため、MID Server が Down 状態と判定され、使用不能になる可能性があります。そのため、Interactive は基本的に使用せず、Standard Queue を飛び越える必要がある場合は Expedited を使用することを推奨します。Expedited Queue をさらに飛び越える必要があることがテストで確認された場合のみ Interactive を検討してください。 高 priority の Sensor Scheduled Job を実行することにより(短時間に大量実行される場合、または長時間実行ジョブがある場合)、インスタンスのパフォーマンス問題が発生することが知られています。Interactive priority の Discovery および Orchestration Sensor は priority 50 の Scheduled Job であり、ほとんどのジョブやすべての Async Business Rule より高く、Text Indexer や Event Management Job と同等の重要度になります。これは危険となる可能性があるため、Standard priority を超える実装を行う場合は十分な検討が必要です。 Priority に関係なく、スレッドは各種 Connection Pool からの Connection 待ちで停止する可能性があります。すべてのスレッドが同じ種類の Probe を実行している場合、Connection Limit に到達する可能性があります。これを避けるため、各種プロトコルの Maximum Connections および Connections Per Host について、MID Server Parameters および Properties を確認してください。 Agent Client Collector は一般的に ECC Queue や Worker Thread を、オンデマンド Host Data Collection や Policy Config Update のようなジョブでのみ利用し、その後ただちに Agent 側ジョブへ引き渡します。そのため、Priority や Worker Thread 数はあまり重要ではありません。ACC Websocket Endpoint Extension は ACC 関連処理の大部分に対して独自の Thread Pool Property を持っており、ユースケースに応じて調整およびスケールできます。これらは以下の処理専用の Thread Pool です。 sn_agent.mid.ws_keepalive_pool_sizeMonitoring.KeepAlive thread pool size。エージェントからの keepalive payload を処理する keepalive processing。(再起動なしでサイズ変更可能)。また、schedule/config-sync メッセージのインライン (ノンブロッキング) 送信も行います。sn_agent.mid.ws.event_pool_sizeMonitoring.CheckResponse thread pool size。エージェントからの check response payload を処理する check response processing。 (再起動なしでサイズ変更可能)sn_agent.mid.ws_rhino_pool_sizeMonitoring.ScriptInclude thread pool size。ターゲット MID Server script に送信される処理(named-script check results)を処理します。 (名前付きスクリプトチェック結果) Agent Client Collector は MID Server と類似した Agent でもあります。MID Server を介さずインスタンスへ直接接続でき、ACC Spoke やカスタム Check を利用した統合を実行できます。一部の要件では、MID Server ベースの統合設計よりも Agent Client Collector ベースの統合設計の方が適しています。 最後に、「すべてが優先事項であるなら、何も優先事項ではない」ということを忘れないでください。カスタム実装でむやみに使用すると、本来の目的を失うことになります。 Related Links MID Server System Requirements Discovery MID Servers at 100% CPU - Good or Bad, Why and then what?