ファイルハッシュ

　ファイルの識別、特定する手法の一つにファイルハッシュがあります。ハッシュ関数をファイルに用いて、固有のハッシュ値を算出することでファイルハッシュを作成します。ファイルハッシュを用いることでファイルの真正性を検証したり、マルウェア検知に活用することができます。Microsoft Windowsに備わっている、CertUtilコマンドによるハッシュ生成・検証コマンドのほか、フリーソフトによるハッシュ計算について解説します。

↑画像中のハッシュ列は空ファイルのMD5/SHA-1/SHA-256のハッシュ値です。

ハッシュ関数について

ハッシュ関数とは

　任意のデータから、別の固定長の値を得るための操作、または、その様な値を得るための関数のこと。ハッシュ関数から得られた値のことを要約値やハッシュ値または単にハッシュといいます。

　ハッシュ関数は、主に検索の高速化やデータ比較処理の高速化、さらには改竄の検出に使われます。例えば、データベース内の項目を探したり、大きなファイル内で重複しているレコードや似ているレコードを検出することに利用されています。

　ハッシュ関数は、チェックサム、チェックディジット、フィンガープリント、誤り訂正符号、暗号学的ハッシュ関数などと関係があります。それぞれ用途が異なり、異なった形で設計・最適化されています。

ファイル操作に使われるハッシュ関数

　データの整合性確認や、データの改ざん検出を目的として利用される代表的なハッシュ関数には、MD5やSHA-256があります。

MD5（Message Digest Algorithm 5）
概要: MD5は、メッセージダイジェストアルゴリズムとして知られ、1992年にロナルド・リベストによって設計されました。
特長: 128ビットのハッシュ値を生成します。
用途: ファイルのチェックサムやデータ整合性の確認など。
弱点: 衝突耐性が低く、現在では暗号学的な目的では推奨されていません。

SHA-256（Secure Hash Algorithm 256）
概要: SHA-256は、SHA-2ファミリーの一部であり、NSA（米国国家安全保障局）によって設計されました。
特長: 256ビットのハッシュ値を生成します。
用途: 暗号通貨のマイニングや、セキュリティプロトコル（例えば、TLS/SSL）の一部として広く使用されています。
利点: 衝突耐性が高く、MD5よりも安全性が高いとされています。


　これらのハッシュ関数は、特定の入力に対して一意のハッシュ値を生成し、元のデータが少しでも変更されると、全く異なるハッシュ値が生成されます。これにより、データの改ざん検出や整合性確認が容易になります。用途や必要な安全性に応じて、適切なハッシュ関数を選択することが重要です。

MD5

　MD5の計算方法については情報処理の教科書に詳しく書かれているのでここでは割愛しますが、すぐに知りたいという人はウィキペディア（Wikipedia）「MD5」詳しい説明があるのでお勧めです。アルゴリズム、ハッシュの衝突耐性、脆弱性についても書かれています。

　MD5ハッシュ関数は、任意のデータ入力（例えば、テキスト、ファイルなど）を受け取り、その内容に基づいた一意の128ビット（16バイト）ハッシュ値を生成します。空の入力の場合、この特定のハッシュ値が一貫して出力されるため、「D41D8CD98F00B204E9800998ECF8427E」は空のハッシュ値の標準として認識されています。

　ハッシュ値の表現方法には通常、16進数（hexadecimal）が使われます。MD5ハッシュ値の場合、128ビットのハッシュ値を16進数で表現すると、32文字になります。

ビットと文字の関係：
　　1バイト = 8ビット
　　128ビット = 16バイト（128 ÷ 8 = 16）

16進数表現：
　　1バイト = 2文字（16進数では、1文字が4ビットを表現します）
　　16バイト = 32文字（16バイト × 2文字/バイト = 32文字）

　つまり、128ビットのハッシュ値は16進数で表現するときに、16バイト（128ビット）を32文字の16進数文字列で表現します。

　なお、16進数（ヘキサデシマル）で使用される文字は次の16種類です。
　　0, 1, 2, 3, 4, 5, 6, 7, 8, 9
　　A, B, C, D, E, F
　それぞれの文字は、4ビット（半バイト）を表現します。例えば、Aは10、Fは15に相当します。

<< 前のページに戻る

ファイルハッシュの活用

ファイルの特定

　ファイルハッシュはファイルごとに固有のハッシュ値が算出されることからファイルの特定に利用されます。ファイルをダウンロードしたり、受渡しなどやり取りする際にはハッシュ値を比較して正規のファイルか確認します。インターネットでは偽アプリや偽アップデートやが横行していることから正規のファイルかどうかを確認することがPC利用時の基本です。

　ファイルハッシュによるファイル特定を応用したセキュリティソリューションがあります。許可されたプログラムのみ実行できるように予めセキュリティベンダーや情報システム部門で許可するプログラムのファイル名、サイズ、ハッシュ値を算出してアプリケーション・セーフリストに登録します。ユーザー部門では利用登録されているプログラムのみ実行するようにすることで不正プログラムが実行されないようにします。未知のマルウェアに対しても完全防御できる有効なセキュリティ・ソリューションです。ただし、OSやアプリのアップデートによって正規のプログラムのハッシュ値が変わることがあるので日常運用ではそれに追随してアップデートしていく必要があります。
　アプリケーション・ホワイトリスティング(NIST SP 800-167)に準拠した製品として「Trellix Application Control」や「PC Matic SuperShield保護」があります。

　なお、アプリケーション・ホワイトだけでは正規プロクラム以外の実行の制御しかできないため、全方位の情報セキュリティ防御にはなりません。正規ツールの悪用、正規のプログラムで利用するデータが細工されていた場合には攻撃が発動してしまい被害が出ます。悪性のマクロ・コード、スクリプト・コードを実行してしまった場合です。攻撃者が唆した通りにコピーアンドペーストして、ユーザ権限で実行できるOSのコマンドやOfficeアプリのマクロを実行してセキュリティ侵害を引き起こせます。

　偽のセキュリティ警告(「ウイルスを検出しました」「ブルースクリーンのシステム障害表示」といった悪質な広告)や正規のOS構成ファイルをコンピューターウイルスだというデマが流行ることがあります。表示された偽の警告が指示する操作をしたり、デマを信じてファイルを削除するとPCが起動しなくなったり、セキュリティが損なわれることがあります。心配になったら自分で正規のファイルであるかどうかをハッシュ値を使って確認できるようにしておくとよいでしょう。

真正性の確認

　ファイルを転送(アップロード/ダウンロード)すると使用環境や通信状態によってデータが改変されたり、欠損することがあります。例えばダウンロードが中断されて途中までのファイルが残るようなケースです。コンパイル済の実行ファイルのようなバイナリデータが途中までだと実行したコンピューターが暴走・フリーズする恐れがあります。ソースコードや文章などのテキストだと中身が不十分ですが受信者がダウンロード未完の不完全なファイルだと気付かずに受け取ってしまうかもしれません。こうした時に送信元と受信先でファイルが同一かを確認したいという要件でファイルハッシュは活用されています。　ファイルダウンロードを提供しているWebページにファイル名、ファイルサイズとともにMD5やSHA1/SHA256などのファイルハッシュも併記されているのを見かけたことがあると思います。
　アナログ電話回線でパソコン通信をしていた時代ではノイズの影響で0/1が反転してしまうビットのランダム誤りが頻繁に起きていました。現在は電話回線がデジタル化されて、誤り制御が行われているので利用者が意識することは無くなりました。

　真正性を確実に検証するためには、正本と複本を全ビット比較することが求められますが両方のデータを読込み、比較することは意外に困難です。正本が保管用のマスターデータである場合はアクセスが制限されていることがあります。所在が地理的に離れている、長期保存用の媒体に記録されていて読取に時間がかかるといったケースも多いです。また、ブラウザやFTPクライアントでダウンロードするとデータ最適化で不可逆圧縮が掛かったり、文字コードや改行コードが変換されて元のファイルと異なるデータになることもあります。

　実用上はファイルサイズとハッシュ値が同一なら中身も同一と考えて差し支えありません。ただし、ファイルハッシュの衝突があります。異なるデータから同じハッシュ値が生成される事象のことです。ハッシュ値の衝突によって、正規のOSを構成しているファイルとマルウェアを誤認してセキュリティ上の問題を引き起こす可能性があります。特に計算量の少ないハッシュ関数は逆算してあるファイルと同一ハッシュ値をもつ別の中身のファイルを生成することが容易にできてしまうためハッシュ値が同一ならば同一ファイルであるというわけではありません。

　同一の中身のはずなのにハッシュ値が異なるケースも存在します。あるフォルダのZIPアーカイブを作成したときようにフォルダの中身のファイルが同一でもZIPファイル生成時の時刻やZIPバージョンといったメタ情報がZIPファイル内に書き込まれることでZIPファイルのハッシュ値が異なってしまいます。

ファイルの重複排除

　ストレージ内の同一のファイルを重複保存を止めること、重複を解消する操作や機能をファイルの重複排除といいます。ハッシュ値を比較することで同一ファイルの特定できることを利用してファイルの重複排除が可能です。

　OSのISOファイルのようにファイルサイズが大きいものはストレージの容量を圧迫します。バージョン、エディションが同一でハッシュ値が同じであれば同じストレージにいくつも保存していると容量の無駄なので一つを残して他の同じファイルを削除して重複を排除します。

　ちなみに実業務データに重複排除を適用する際には気を付けなければならないことがあります。ソースコード一式や業務プロジェクト文書一式をフォルダで管理している場合には、共通モジュール、テンプレートといったファイルは同一だからといって重複排除しないほうがよいです。類似業務でフォルダごとコピーして流用しようとしたときに必要なファイルが抜けてしまいます。理想的には共通モジュールやテンプレートと成果物は完全に分離して管理すべきですが必要なファイルを抽出した後の状態を残しておきにくいのです。

マルウェア検出

　マルウェアのハッシュ値をデータベース化しておくことで解析せずにマルウェアを検出することができます。パターンファイル型のウイルススキャンエンジンもマルウェアのハッシュや特徴データを用いて検出しています。また、ファイルのハッシュを比較し真正性を確認できることを応用して疑わしいファイルを見つけることができます。また、クライアントでハッシュ値の登録のない未知のファイルを発見した場合に検体として提供、セキュリティベンダーで検査することも行われています。

　ウイルス トータル（VirusTotal）は、疑わしいファイルや URL を分析してマルウェアや悪意のあるコンテンツを検出するオンラインサービスです。Googleが提供しており、一般ユーザーは無料で利用できます。セキュリティ コミュニティに共有され、検出されたマルウェアがどのアンチウイルス製品で検出されたのかも分かります。有料版では第三者がアップロードした検体ファイルをダウンロードできます。YARA、SIGMA、IDSの20以上のリポジトリのクラウドソーシングルールによるマルウェアのハンティングが可能です。アップロードされたファイルは第三者に閲覧されるのでファイルに機微なデータが含まれる場合には漏洩によるリスクがあります。例えばメールのメッセージや添付ファイル、ランサムウェアによって暗号化されたドキュメントファイルには個人情報や秘密情報を含んでいることがあります。VirusTotalを安全に利用するにはファイル名やハッシュ値で既知のマルウェアを検索します。

　空ファイルはマルウェア？ ブラウザやビューアーアプリから不正なファイルがドロップされることがありますが既知のマルウェアの場合には瞬時に隔離されて、ファイルサイズ0バイトの空のファイルが残っていることがあります。一連の不審な挙動から空ファイルや空ファイルのハッシュ値がファイルデータベースにマルウェアとして登録されていることがあります。自分で新規ファイル作成の操作をしたのであればファイルそのものは安全です。知らずのうちに出来ている場合など生成されたきっかけによってはマルウェア感染(セキュリティ侵害)の寸前ということがありますので用心したほうがよいです。

　サイズ0、つまり未入力のデータ(空のファイル)のハッシュ値を覚えておくと何かと役立ちます。

CRC : FFFF
CRC32 : 00000000
MD5 : D41D8CD98F00B204E9800998ECF8427E
SHA-1 : DA39A3EE5E6B4B0D3255BFEF95601890AFD80709
SHA-256 : E3B0C44298FC1C149AFBF4C8996FB92427AE41E4649B934CA495991B7852B855

　このようにCRCやCRC32では特別な値だと分かりますがMDやSHA-1、SHA-256のようなハッシュアルゴリズムだと一見すると中身のあるファイルのハッシュ値と同じようなランダムな文字列が返ります。パスワード付きZIPファイルの展開に失敗していて、空のファイルのハッシュ値を計算してきちんと計算できたと誤認することも防げるでしょう。
　ごく標準的なWindows環境ではWindows Defenderウイルス対策が有効になっているので、既知のマルウェアファイルは直ちに検出、保護されてファイルがダウンロードフォルダに残りません。隔離されるタイミングによっては中身が空のファイルが残ることがあります。ファイルのプロパティには検出のタイミングのタイムスタンプがあり、ファイル名もセキュリティ侵害事例と同じ場合があるので不審なファイルと思いがちです。
　しかし、事象の結果としてその残った空のファイルをマルウェアの構成ファイルとして扱ってしまうのは誤検出を誘発するので避けたほうがよいです。既にデータベースに登録している場合には上記のハッシュが登録されている筈です。正常ファイルにフラグを変えておかないと、新規作成したファイルや、処理中にファイルをオープンして処理中断で空のままになった時に誤検出してしまいます。

その他

　システムやPCの利用において、ファイルに限らず、メッセージ、データ、アクセス・トークン、パスワード、ライセンス・コードなどをハッシュ計算して利用することがあります。

　ゼロトラストセキュリティソリューションの製品群の中に、情報資産の監査ツールでサーバーやクライアントPCに保存されているファイルのファイル情報を収集、監視するツールがあります。ファイル情報の中には主要な方式で算出したファイルハッシュも含まれます。正規プログラムに偽装されたファイルや新旧バージョンのチェックができます。　Security Operation Center(SoC)やComputer Security Incident Response Team(CSIRT)の運営では基本的なデータです。

<< 前のページに戻る

ファイルハッシュの取得

Windows標準コマンドの使用

　組織のセキュリティポリシー・ルールによって、許可なくプログラムをインストールすることができないのが一般的です。特にセキュリティ侵害が疑われる場合、証拠保全の観点から速やかにクローンを生成して現物には極力触れないことが原則です。システム障害が疑われる場合のオンサイトサポートで対応する際などもファイルを持ち込むことも持ち出すこともできないのが普通です。勿論、ハッシュ計算のためにフリーソフトは持ち込むことができないのでWindows標準コマンドでファイルハッシュを取得することになります。Windows 10/Windows 11で使用できるCertUtilコマンドとPowerShellのGet-FileHashコマンドレットの2つを紹介します。

CertUtil

CertUtilコマンド
　certutil.exeは、証明書サービスの一部としてインストールされるコマンドラインプログラムで、証明機関（CA）の構成情報の表示、証明書サービスの構成、CAコンポーネントのバックアップと復元、証明書、キーペア、証明書チェーンの検証を行うことができます。Windowsオペレーティングシステムに標準搭載されており、証明書や証明書ストアを管理するための機能を提供します。

基本構文
certutil -hashfile <ファイルパス> <ハッシュアルゴリズム>

certutilコマンドを使って簡単に指定したハッシュアルゴリズムでファイルのハッシュ値を計算することができます。
　以下はユーザーnavitokuのCドライブのダウンロードフォルダのパス「C:\Users\navitoku\Downloads」にある「file.txt」のハッシュ値を計算する場合のコマンド例です。お使いの環境に合わせてパスを置き換えてください。

例
SHA256 ハッシュを計算する場合:
certutil -hashfile C:\Users\navitoku\Downloads\file.txt SHA256

MD5 ハッシュを計算する場合:
certutil -hashfile C:\Users\navitoku\Downloads\file.txt MD5

SHA1 ハッシュを計算する場合:
certutil -hashfile C:\Users\navitoku\Downloads\file.txt SHA1


サポートされているハッシュアルゴリズム：
MD2
MD4
MD5
SHA1
SHA256
SHA384
SHA512

トラブルシューティング：
CertUtilは何もデータのない空ファイル(サイズ0)のハッシュ値を計算できません。計算しようとすると以下のようなエラーが出力されます。
CertUtil: -hashfile コマンド エラーです: 0x800703ee (WIN32: 1006 ERROR_FILE_INVALID)
CertUtil: ファイルを格納しているボリュームが外部的に変更されたため、開かれているファイルが無効になりました。

証明書のためのコマンドなので空ファイルを取扱い対象にすることを想定していないためにファイルを読み取れなかったときのエラーとして扱われているような気がします。

Get-FileHash

Get-FileHashコマンドレット
Get-FileHash コマンドレットは、PowerShell でファイルのハッシュ値を計算するために使用されます。ハッシュ値は、ファイルの内容を一意に識別するための固定長の文字列です。これにより、ファイルの整合性を確認したり、ファイルが改ざんされていないかをチェックすることができます。

基本構文
Get-FileHash -Path <ファイルパス>

指定したファイルのハッシュ値を計算し、デフォルトのアルゴリズム（SHA256）を使用して結果を返します。

　以下はユーザーnavitokuのCドライブのダウンロードフォルダのパス「C:\Users\navitoku\Downloads」にある「file.txt」のハッシュ値を計算する場合のコマンド例です。お使いの環境に合わせてパスを置き換えてください。

ハッシュアルゴリズムの指定
Get-FileHash -Path "file.txt" -Algorithm アルゴリズム

-Algorithm パラメータを使用して、異なるハッシュアルゴリズムを指定することもできます。サポートされているアルゴリズムには、SHA1、SHA256、SHA384、SHA512、MD5 などがあります。

例
MD5 ハッシュを計算する場合:
Get-FileHash -Path C:\Users\navitoku\Downloads\file.txt -Algorithm MD5

SHA1 ハッシュを計算する場合:
Get-FileHash -Path C:\Users\navitoku\Downloads\file.txt -Algorithm SHA1

SHA256 ハッシュを計算する場合:
Get-FileHash -Path C:\Users\navitoku\Downloads\file.txt -Algorithm SHA256


サポートされているハッシュアルゴリズム：
MD5
SHA1
SHA256
SHA384
SHA512
MACTripleDES
RIPEMD160


Get-FileHashを使えば中身が空のファイルのハッシュも計算できます。
PS C:\Windows\system32> Get-FileHash C:\Users\navitoku\Downloads\empty-file.txt

Algorithm Hash Path
--------- ---- ----
SHA256 E3B0C44298FC1C149AFBF4C8996FB92427AE41E4649B934CA495991B7852B855 C:\Users\navitoku\Downloads\empty-file.txt

Microsoft ファイル チェックサム整合性検証ツール FCIVについて

　Windows 8/8.1以前では、FCIVコマンド (Microsoft File Checksum Integrity Verifier)ツールを利用できます。サポート対象外ですがWindows 10でも動作するということでマイクロソフト製のツールとしてよく紹介されていました。現在はダウンロードページが閉鎖されているので無理に探して使わないほうがよいでしょう。

Microsoft ファイル チェックサム整合性検証ツール V2.05
Microsoft File Checksum Integrity Verifier V2.05 [Internet Archive]
https://archive.org/details/FCIV_v2_05

FCIV ユーティリティは、Microsoft Windows 2000、Windows XP、および Windows Server 2003 上で実行されます。
https://support.microsoft.com/ja-jp/kb/841290

可用性とは、ファイル チェックサム整合性検証ユーティリティの説明
https://support.microsoft.com/ja-jp/kb/841290#bookmark-4
https://web.archive.org/web/20160508123607/https://support.microsoft.com/ja-jp/kb/841290#bookmark-4 [Internet Archive]

可用性とは、ファイル チェックサム整合性検証ユーティリティの説明


英語版 KB：841290

概要
ファイル チェックサム整合性検証 (FCIV) を計算し、ファイルの暗号化ハッシュ値を確認するコマンド プロンプト ユーティリティです。FCIV は、MD5 または sha-1 暗号化ハッシュ値を計算できます。これらの値が画面に表示したり、後の使用および検証 XML ファイル データベースに保存できます。


機能
FCIV ユーティリティは、次の機能があります。
(既定値は MD5 です)。 MD5 や SHA1 のハッシュ アルゴリズムをサポートしています。
ハッシュ値はコンソールに出力したり、XML ファイルのハッシュ値とファイルの名前を格納します。
再帰的ハッシュ値のすべてのファイルのディレクトリとすべてのサブディレクトリ (たとえば、生成できます。 fciv.exe-r が正しくありません:c:\)
ファイルまたはハッシュするディレクトリを指定するのには、例外の一覧を提供します。
かかわらず、ファイルの完全なパス ファイルのハッシュ値を格納できます。


インストール
FCIV ユーティリティを入手するには、次の手順を実行します。
Windows エクスプ ローラーで FCIV をという新しいフォルダーを作成します。
次のファイルは、Microsoft ダウンロード センターからダウンロードできます。

ダウンロードファイル チェックサム整合性検証ユーティリティ ・ パッケージをダウンロードします。
チェックサム整合性検証ユーティリティ ・ パッケージ Windows-KB841290-x86-ENU.exe [Internet Archive]
https://web.archive.org/web/20160508123607/http://download.microsoft.com/download/c/f/4/cf454ae0-a4bb-4123-8333-a1b6737712f7/Windows-KB841290-x86-ENU.exe
リリース日: 2004 年 5 月 17日


使用法
構文
fciv.exe [Commands] <Options>

フリーソフトの使用

　数多くのハッシュ計算ソフトが公開されています。複数のハッシュ関数に対応したり、各種ツール、API対応しているものもあります。作者の要件に合うように作られているので自分の要件に合致する場合には便利です。

　私はWindowsデスクトップアプリでドラックアンドドロップで複数のファイル、複数のハッシュアルゴリズムを計算できる機能を有しているツールが便利に感じます。なぜなら、ファイルを確認する際の操作を簡単にし処理時間を短縮できるからです。上記で紹介したOS標準コマンドを使用する方法は制約下で利用するとか他のOSコマンドと組み合わせてバッチファイルで実行するのには有効ですが、手動でファイルパスを指定してコマンドを実行し結果のハッシュ値をコピーする操作を繰り返すのは非効率だと考えます。

　FastHash(開発者：うり氏)は ファイルのハッシュを高速に計算するソフトです。無保証ながらWindows 95/98以降のWindowsに対応しています。
シンプルなGUIとCUIの両対応で特に大量のファイル数のハッシュを計算する時に威力を発揮します。

　対応しているハッシュの種類は以下の通りです。
　CRC16/CRC32/MD5/SHA-1/SHA-256/SHA-384/SHA-512/RIPEMD-128/RIPEMD-160/RIPEMD-256/RIPEMD-320


↑画像中のハッシュ列は空ファイルのMD5/SHA-1/SHA-256のハッシュ値です。
　fasthash039b.zipの中に説明文「ReadMe.txt」があります。「FastHash.exe」がプログラム本体、設定パラメータ保存「FastHash.ini」のシンプルな構成です。インストール不要でプログラムを実行すればすぐに使える簡単さがいいです。

　入手は、フリーソフト・パソコンソフトの配布サイト「Vector」のWindows ユーティリティ ＞ バイナリファイル処理 ＞ FastHash から可能です。

Linuxコマンドの使用

　LinuxでMD5、SHA-1、およびSHA-256のハッシュ値を計算するためのコマンドを以下に示します。これらのコマンドは、ファイルや文字列のハッシュ値を計算するのに使用されます。

基本構文
　　md5sum ファイル名
　　sha1sum ファイル名
　　sha256sum ファイル名

　文字列のハッシュ値を計算したい場合は、echoコマンドとパイプを使用できます。
　　echo -n "文字列" | md5sum
　　echo -n "文字列" | sha1sum
　　echo -n "文字列" | sha256sum

<< 前のページに戻る

注意事項

　信頼できるハッシュ計算ソフトを使いましょう。偽のハッシュ計算ソフトやマルウェアが混入している場合があります。ハッシュ計算ソフトを探しているユーザーはダウンロードしたファイルをファイルハッシュによって正規ファイルかの判定できない状況であることが想定されるのでサイバー攻撃(水飲み場攻撃など)のターゲットになりやすいです。ファイルを送受信したり、ダウンロードする際に必要になることやマルウェアの特定やファイル解析の学習コンテンツを見た初学者が探すことが予測されているためと考えられます。

　ハッシュ計算ソフトの脆弱性に気を付けましょう。入力としてファイルを読み込む際に細工されたデータ列によって不正なコードを実行するようなリスクがあります。

　オンラインのファイルハッシュ計算サービスを利用するとファイルを外部送信することになります。送信先へファイルをアップロードすることに伴い送信先から更に漏洩する恐れもあります。

<< 前のページに戻る

<< 前のページに戻る

更新履歴

2025年3月1日 ファイル チェックサム整合性検証ツール FCIVを追加
2025年2月26日 公開
2025年2月24日 作成(執筆：SENRI)

<< 前のページに戻る